Презентация Индуктивное моделирование: содержание и примеры применения в задачах обработки текстов М. Александров Академия народного хозяйст онлайн

Содержание слайда:

Содержание слайда: Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание слайда: Введение История ИМСОМ = Индуктивный Метод Самоорганизации Моделей Был разработан в в 70-80 годы акад. А.Г. Ивахненко и его учениками Принадлежит к числу эволюционных алгоритмов Искусственного Интеллекта

Содержание слайда: Введение Что стоит за названием? ИМСОМ = Индуктивный Метод Самоорганизации Моделей Понятие модели зависит от задачи. Если необходимо описать связь наблюдений (Xi,Yi), то модель это зависимость Yi = F(Xi)

Содержание слайда: Введение В чем индуктивность? Индукция = из частных случаев делают обобщенный вывод Дедукция = из общего результата делают выводы о частных случаях Пример индуктивного вывода – метод математической индукции Индуктивность в нашем случае состоит в том, что мы рассматриваем конкретные частные модели, шаг за шагом усложняя их: прямая, парабола, полином 3-го порядка, 4-го порядка, и т.д. Но мы не рассматриваем одновременно все модели (степенные и тригоном. полиномы, ряды экспонет, и т.п.) или даже какой-то конкретный класс в целом

Содержание слайда: Введение В чем самоорганизация? Саморганизация системы – это изменение ее структуры/параметров под влиянием внешних условий Самоорганизация у нас состоит в том, что модель меняется от простой к сложной в процессе автоматического перебора моделей, пока она не достигнет оптимальной сложности Внешние условия – это данные наблюдений. Они отражают: как поведение объекта, так и шум Тогда очевидно, что: - Простая модель не реагирует на шум, но плохо отражает объект - Сложная модель отражает объект, но чувствительна к шуму Есть некоторый оптимум, который достигается в процессе перебора Термин используется условно – у нас иллюзия самоорганизации. Ведь это мы меняем модель, а не она сама себя

Содержание слайда: Введение

Содержание слайда: Введение

Содержание слайда: Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание слайда: Индуктивное Моделирование

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание слайда: Постановка задачи

Содержание слайда: Постановка задачи

Содержание слайда: Постановка задачи

Содержание слайда: Эмпирические формулы

Содержание слайда: Эмпирические формулы Требования Построенная формула должна отражать два обстоятельства: Поддержать факт, что небольшое относительное число несовпавших букв n/s есть индикатор подобия слов translation translated Провести дискриминацию длинных слов. А именно: чем слова длинее, тем менее вероятно, что они подобны при том же отношении n/s ratio. Лингвисты полностью поддержали эти два требования

Содержание слайда: Эмпирические формулы

Содержание слайда: Эмпирические формулы Число степеней свободы Как было указано выше, формула должна зависеть от: - относительной доли числа несовпавших букв, то есть n/s - длины слов, то есть s или y Это определяет необходимость иметь 2 степени свободы Рассмотрим: n/s < C 1 степень свободы n/s n/s < F (s) 2 степени свободы n/s и s n/s < F(y) 2 степени свободы n/s и y n/s < F (y/s) 1 степень свободы, n/s etc. Коментарий: y = (s-n)/2, тогда y/s = (s-n)/2s = 0.5 (1- n/s) Поэтому: n/s < F (y/s) имеет 1 степень свободы

Содержание слайда:

Содержание слайда: Эмпирические формулы Сложность модели F(y) ? Чтобы определить сложность модели (степень полинома), мы используем ИМСОМ = Индуктивный Метод Самоопределения Модели ИМСОМ позволяет построить подходящую модель при ограниченном наборе экспериментальных данных

Содержание слайда: Подход 1) Мы рассматриваем экстремальные случаи (равенство) n/s = a0 + a1y + a2y2 + ... 2) Эксперт готовит «вручную» пары подобных слов Примеры asking asked translation translated Перед началом эксперимента весь набор исходных данных (пары подобных слов) делится на обучающую и контрольную выборки

Содержание слайда:

Содержание слайда: Внешние критерии Регулярность Kr Несмещенность Ku Комбинированный критерий K = 2/3 Kr + 1/3 Ku

Содержание слайда:

Содержание слайда: Демонстрация Пример Начальный список 1-й шаг 2-й шаг 3-й шаг transform (7) transform (12) transform (19) transform (19) transformed(5) transformation(7) translating (6) translat (13) transformation(7) translating (6) translator (7) transport (11) translating (6) translator (7) transport (11) transported (2) translator (7) transport (11) transported (2) transport (11) transported (2) transported (2) Здесь: Скобки содержат число появлений слов в тексте. Значения сумируются, когда слова рассматриваются, как подобные

Содержание слайда: Дискуссия и выводы Примеры Мартина Портера Д-р Портер, автор знаменитого стеммера, реализованного на многих европейских языках, прислал письмо с примерами 1a. bead, bear, beat (короткий текст) 1b. cat, cats (короткий текст) 2a. bead, ..., beagle, beagling, ..., bear,..., beast, beastliness, ..., beat (длинный текст) 2b. cat, catalogue, cataplasm, catastrophe, catenary, cats (длинный текст) Примеры показывают влияние длины текста на работу стеммера: - на коротких текстах различные по смыслу слова могут оказаться рядом и быть принятыми за сходные (см. 1a) - на длинных текстах сходные по смыслу слова могут не оказаться рядом, и сходство не будет обнаружено (см. 2b)

Содержание слайда: Дискуссия и выводы Недостатки стеммера - Относительно низкая точность (80%-90%) - Зависимость результатов применения от длины текста Преимущества стеммера - Языково независим – легко настраивается на язык и тему - Простая настройка на заданный уровень ошибок 1 и 2 рода Замечания а) зависимость результатов от длины текста легко устраняется, если проверка сходства выполняется по всему списку, а не только для рядом стоящих слов б) ошибки 1-го рода (пропуск сходных по смыслу слов) легко обнаруживаются и исправляются при ручном контроле результата

Содержание слайда: Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: