Презентация Информационный поиск Лидия Михайловна Пивоварова Системы понимания текста онлайн

Содержание слайда: Информационный поиск Лидия Михайловна Пивоварова Системы понимания текста

Содержание слайда: Введение Информационный поиск – поиск в большой коллекции документов, удовлетворяющих потребности пользователя, сформулированной в виде короткого запроса на естественном языке. Стремительный рост Интернета и успешное развитие информационно-поисковых систем привели к тому, что современный информационный поиск как дисциплина включает широкий круг вопросов, связанных со сбором, хранением, поиском и представлением самой разнообразной информации; сюда же естественным образом относятся многие задачи автоматической обработки текста.

Содержание слайда: Содержание Индексирование Модели информационного поиска Оценка информационного поиска Роль автоматической обработки текста в информационном поиске

Содержание слайда: Индексирование Поиск по большим коллекциям не может осуществляться в режиме реального времени. Для быстрого поиска коллекция предварительно обрабатывается и по ней строится индекс(ы) – набор атрибутов, которые упорядочены в удобном для поиска порядке. В случае полнотекстового поиска такими атрибутами являются слова (словосочетания), приведенные к нормальной форме.

Содержание слайда: Структура индекса

Содержание слайда: Процесс индексирования Анализ структуры – выделение заголовков, абзацев и т.п.; удаление html-разметки и т.д; Токенизация – разбиение текста на слова, удаление знаков препинания; Удаление стоп-слов - высокочастотных служебных слов (предлогов, союзов и т.п.); Лемматизация – приведение слов к нормальной (например, словарной) форме; Взвешивание

Содержание слайда: Взвешивание В индексе хочется учитывать не только сам факт вхождения слова в документ, но и «вес», т.е. информацию о частоте данного слова в документе. Однако саму по себе частоту использовать плохо, поскольку слова распределены в языке неравномерно: некоторые встречаются гораздо чаще других

Содержание слайда: Закон Ципфа (Zipf)

Содержание слайда: Принцип Луна (Luhn)

Содержание слайда: Классический метод взвешивания: tf-idf tf – относительная частота слова в документе idf – обратная документальная частота (чем меньше в коллекции документов, в которые входит это слово, тем idf больше)

Содержание слайда: Содержание Индексирование Модели информационного поиска Оценка информационного поиска Роль автоматической обработки текста в информационном поиске

Содержание слайда: Булева модель Запрос: булево выражение: Ответ: Плюс: простота; минус: отсутствие ранжирование

Содержание слайда: Векторная модель Коллекция из n документов и m различных терминов представляется в виде матрицы mxn, где каждый документ – вектор в m-мерном пространстве. Веса терминов можно считать по разному: частота, бинарная частота (входит – не входит), tf*idf… Порядок слов не учитывается (bag of words) Матрица очень большая (большое число различных терминов в гетерогенной коллекции). В матрице много нулей

Содержание слайда: Векторная модель Близость запроса к документу: косинусная мера близости

Содержание слайда: Вероятностные модели Вероятность вычисляется на основе теоремы Байеса: P(R) – вероятность того, что случайно выбранный из коллекции документ D является релевантным P(d|R) – вероятность случайного выбора документа d из множества релевантных документов P(d) – вероятность случайного выбора документа d из коллекции D

Содержание слайда: Вероятностные модели Решающее правило заключается в максимизации следующей функции:

Содержание слайда: Содержание Индексирование Модели информационного поиска Оценка информационного поиска Роль автоматической обработки текста в информационном поиске

Содержание слайда: Оценка информационного поиска Полнота (recall): R = tp / (tp+fn) Точность (presicion): P = tp / (tp+fp) F-мера: Аккуратность (accuracy): A = (tp + tn) / (tp + tn +fp +fn)

Содержание слайда: Содержание Индексирование Модели информационного поиска Оценка информационного поиска Роль автоматической обработки текста в информационном поиске

Содержание слайда: Уровни анализа языка Морфологический анализ – признан необходимым для информационного поиска, особенно для флективных языков (например, русского); сюда же относится предсказательная морфология (для незнакомых слов), а также исправление опечаток. Синтаксический анализ – уже из самого понятия “bag of words” следует, что синтаксис здесь практически не используется; исключения: линейный порядок слов, именные группы, сборка терминологических словосочетаний. Семантический анализ – в классическом информационном поиске как правило не используется; некоторые элементы лексической семантики применяются при расширении запросов, индексировании документов и составлении каталогов.

Содержание слайда: Источники J. Savoy, E. Gaussier Information Retrieval // Handbook of natural language processing, Second Edition Editor(s): Nitin Indurkhya; Fred J. Damerau, Goshen, Connecticut, USA – 2010 – pp. 455-484 К. Д. Маннинг, П. Рагхаван, Х. Шютце Введение в информационный поиск – Вильямс, 2011 А.В. Сычев Информационно-поисковые системы - http://company.yandex.ru/academic/class2006/sychev.xml