Презентация Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки онлайн
На нашем сайте вы можете скачать и просмотреть онлайн доклад-презентацию на тему Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки абсолютно бесплатно. Урок-презентация на эту тему содержит всего 18 слайдов. Все материалы созданы в программе PowerPoint и имеют формат ppt или же pptx. Материалы и темы для презентаций взяты из открытых источников и загружены их авторами, за качество и достоверность информации в них администрация сайта не отвечает, все права принадлежат их создателям. Если вы нашли то, что искали, отблагодарите авторов - поделитесь ссылкой в социальных сетях, а наш сайт добавьте в закладки.
Оцените презентацию от 1 до 5 баллов!
- Тип файла:ppt / pptx (powerpoint)
- Всего слайдов:18 слайдов
- Для класса:1,2,3,4,5,6,7,8,9,10,11
- Размер файла:237.50 kB
- Просмотров:79
- Скачиваний:1
- Автор:неизвестен
Слайды и текст к этой презентации:
№1 слайд
Содержание слайда:
№2 слайд
Содержание слайда: Цель– представить наблюдаемые данные в компактной и простой форме, позволяющей выявить имеющиеся закономерности и связи
Цель– представить наблюдаемые данные в компактной и простой форме, позволяющей выявить имеющиеся закономерности и связи
Разведочный анализ данных (РАД) включает:
преобразование данных и способы наглядного их представления
выявление аномальных значений
грубая оценка типа распределения
сглаживание
№3 слайд
Содержание слайда: Какой обработке подвергнуть наблюдения?
Какую модель выбрать?
Какие заключения можно сделать?
№4 слайд
Содержание слайда: Разведочный анализ (Exploratory data analysis) – средство получения более полной информации об изучаемом явлении
Разведочный анализ (Exploratory data analysis) – средство получения более полной информации об изучаемом явлении
Наблюдения n пар (x1,Y1), …, (xn,Yn) опишем уравнением
(1)
Минимальный предварительный анализ - график рассеяния точек (xj,Yj).
№5 слайд
Содержание слайда: Оценка - истинного среднего m независимой случайной величины x по выборке объема n
Оценка - истинного среднего m независимой случайной величины x по выборке объема n
Доверительный интервал:
t-распределение Стьюдента:
95%-е доверительные интервалы
Для нормального распределения t = 1,96,
Для t-распределения при числе степеней свободы v (v = n – 1), равных 1; 3 и 12, величина t, соответственно, равна 12,7; 4,3 и 2,18.
№6 слайд
Содержание слайда: Большинство измерений проводится в конкретных единицах
Большинство измерений проводится в конкретных единицах
Резкая асимметрия некоторых распределений (например,2, F) при малых выборках, обрывистые края у равномерного распределения
Поведение на «хвостах» распределения, которое существенно отличается от значений основного количества наблюдений
№7 слайд
Содержание слайда: Робастные оценки - robust – крепкий, здоровый,
Робастные оценки - robust – крепкий, здоровый,
Пример робастной оценки среднего, терпимой к отклонению хвостов распределения от нормального - медиана распределения
№8 слайд
Содержание слайда: среднеквадратическое отклонение
среднеквадратическое отклонение
дисперсия 2
размах R
Оценки этих величин обозначают, соответственно, S, S2, R
Оценка разброса по S – в линейных преобразованиях типа Y = + X
№9 слайд
Содержание слайда:
№10 слайд
Содержание слайда: Простая перепроверка. Проверка полученной модели на данных, отличных от тех, по которым определены параметры модели
Простая перепроверка. Проверка полученной модели на данных, отличных от тех, по которым определены параметры модели
Двойная перепроверка. Проверка на данных отличных, как от тех, по которым строилась модель, так и от тех, которые использованы для вычисления параметров модели
№11 слайд
Содержание слайда:
№12 слайд
Содержание слайда: Пусть выборка изучаемой совокупности x1, …, xn, содержит элементы двух независимых случайных величин с плотностями распределений f(x,1) и f(x,2).
Пусть выборка изучаемой совокупности x1, …, xn, содержит элементы двух независимых случайных величин с плотностями распределений f(x,1) и f(x,2).
Обозначим через А – множество элементов выборки, принадлежащих к первой случайной величине, В – множество элементов выборки из второй совокупности.
Требуется найти оценки неизвестных параметров 1, 2 и множества А и В.
Для оценки этих четырех неизвестных используем метод максимума правдоподобия
№13 слайд
Содержание слайда: Причины:
Причины:
грубые ошибки при регистрации измерений,
случайные импульсные помехи,
сбои оборудования,
измерения в ошибочных единицах
и др.
№14 слайд
Содержание слайда: Пусть наблюдения x1, …, xn являются реализациями независимых случайных величин, подчиняющихся одинаковому нормальному N(,2) распределению
Пусть наблюдения x1, …, xn являются реализациями независимых случайных величин, подчиняющихся одинаковому нормальному N(,2) распределению
Основная гипотеза H0: Mxi = , Dxi = 2, i = 1, …, n.
Альтернативная гипотеза H1 : одна или несколько величин имеют среднее + d
№15 слайд
Содержание слайда: При построении критерия возможны варианты, зависящие от степени информации о и .
При построении критерия возможны варианты, зависящие от степени информации о и .
Рассмотрим случай, когда значения и неизвестны. Критериальная статистика:
Распределение величины Dn получены К. Пирсоном и Н.В. Смирновым. Критические значения Dn, вычислены Н.В. Смирновым и Ф. Граббсом
H0 - Dn < D - наблюдение не является аномальным
H1 - Dn > D - наблюдение является аномальным
№16 слайд
Содержание слайда: Для данных с неправдоподобными наблюдениями использовать робастные процедуры оценивания
Для данных с неправдоподобными наблюдениями использовать робастные процедуры оценивания
Существенно выделяющиеся данные обнаруживать, преобразовывать и удалять, при этом интерпретировать, привлекая знания, не относящиеся к статистической природе
Процедуры удаления существенно выделяющихся и подозрительно больших наблюдений с последующим оцениванием близких к робастным оценкам
№17 слайд
Содержание слайда: Процедура «стебель с листьями» (Stem-and-Leaf)
Процедура «стебель с листьями» (Stem-and-Leaf)
250 688 695 795 795 895 895 895 1099 1166 1333 1499 1693 1699 1775 1895
Три вида записи «стебля с листьями» цен на 17 автомобилей «Шевроле»: а – единица = 100 $; б – единица = 10 $; в – единица = 100 $
№18 слайд
Содержание слайда: А.А.Большаков, Р.Н.Каримов «Методы обработки многомерных данных и временных рядов» Москва 2007 г.
А.А.Большаков, Р.Н.Каримов «Методы обработки многомерных данных и временных рядов» Москва 2007 г.
Электронный учебник StatSoft по анализу данных.
Скачать все slide презентации Разведочный анализ данных. Цель и задачи. Обнаружение аномальных наблюдений. Критерий проверки одним архивом:
