Презентация Оптимизация тематического моделирования за счет изменения функции плотности в алгоритме семплирования Гиббса онлайн

Содержание слайда: Оптимизация тематического моделирования за счет изменения функции плотности в алгоритме семплирования Гиббса Лаборатория интернет исследований научный руководитель: канд. физ.-мат. наук, доцент Департамента прикладной математики и бизнес-информатики Санкт-Петербургской школы экономики и менеджмента НИУ ВШЭ Кольцов Сергей Николаевич студент: Агальцова Татьяна Александровна

Содержание слайда: Тематическое моделирование Тематическое моделирование - это способ построения модели коллекции текстовых документов, которая определяет, к каким темам относится каждый из документов. Тематическая модель (topic model) коллекции текстовых документов определяет, к каким темам относится каждый документ и какие слова (термины) образуют каждую тему. Отвечает на вопросы: 1.Как выявлять смысл или тематику документов по их содержимому? 2. Как осуществлять классификацию документов на основе этих скрытых тематических закономерностей?

Содержание слайда: Тематическое моделирование

Содержание слайда: Тематическое моделирование (Latent Dirichlet allocation) Основное предположение тематической модели Latent Dirichlet Allocation состоит в том, что каждый документ с некоторой вероятностью может принадлежать множеству тематик. Тема - это совокупность слов, где каждое слово имеет некоторую вероятность принадлежности к данной тематике. Формально тема определяется как дискретное (мультиномиальное) вероятностное распределение в пространстве слов заданного словаря. Тематическим моделированием называется решение задачи, обратной классификации . Каждый документ в корпусе текстов рассматривается как наблюдаемая случайная независимая выборка слов (мешок слов), порождённая некоторым, скрытым (латентным) множеством тем. По этим данным требуется восстановить вероятностные распределения всех тем в корпусе и определить, каким именно подмножеством тем порождён каждый документ. Тематическое моделирование основано на применении формулы Байеса, в которой распределение слов и тем выражено в виде смеси плотностей распределений слов и документов.

Содержание слайда: Тематическое моделирование

Содержание слайда: Тематическое моделирование Задача классификации заключается в расчете (оценке) апостериорной информации на основании априорной информации. Такая оценка может быть реализована при помощи формулы Байеса. - Апостериорная вероятность - Априорная вероятность Однако существует проблема оценивания априорной величины

Содержание слайда: Задача восстановления априорного распределения p(x,y) Оценка функции p(x,y) может быть реализован при помощи трех методов. 1. Непараметрическое восстановление плотности основано на локальной аппроксимации плотности p(x) в окрестности классифицируемого объекта x ∈ X. Пример, Алгоритм Парзена-Розенблатта (метод парзеновского окна). 2. Параметрическое восстановление плотности основано на предположении, что плотность распределения известна с точностью до параметра, p(x,y) =ϕ(x; θ), где ϕ фиксированная функция. 3. Восстановление смеси плотностей. Если функцию плотности p(x,y) не удаётся смоделировать параметрическим распределением, можно попытаться описать её смесью нескольких распределений: Собственно именно третий метод является основой тематического моделирования.

Содержание слайда: Семплирование по Гиббсу

Содержание слайда: Цели и задачи Цель: Оценить работу тематического моделирования при изменении структуры функции плотности, переходя от функции Дирихле к полетам Леви в алгоритме семплирования Гиббса. Задачи: Вычислить и запрограммировать полеты Леви. Анализ полученных данных в topic maner. Сравнение результатов, полученных из данной модели с результатами простой модели LDA. Выявить преимущества и недостатки исследованной модели.