Презентация Методы анализа данных. Примеры задач. Иллюстрации онлайн

Содержание слайда: Методы анализа данных Примеры задач. Иллюстрации Ганелина Наталья Давидовна Кафедра АСУ 12657@211.ru

Содержание слайда: Структура курса Задачи и методы анализа данных Корреляционный анализ данных Регрессионный анализ данных Поиск ассоциативных взаимосвязей Кластеризация Классификация Снижение размерности многомерного признака. Отбор наиболее информативных показателей. Факторный анализ Исследование и прогнозирование временных рядов

Содержание слайда: Структура курса Генетические алгоритмы и эволюционное моделирование задач анализа данных Statistica PolyAnalyst SPSS Deductor Excel

Содержание слайда: БРС Лабораторные работы: 40 баллов РГР: 40 баллов Зачет: 20 баллов «Автомат»: от 77 баллов

Содержание слайда: Рекомендуемая литература Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности.- М.: Финансы и статистика, 1989. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. – М.: «Финансы и статистика», 1983. – 471 с. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. Учебник для вузов. – М.: ЮНИТИ, 1998. – 1022 с. Альсова О.К. Решение задач интеллектуального анализа данных на основе вариативного моделирования./Методические указания к лабораторным работам; составитель Альсова О.К. – Новосибирск: Изд-во НГТУ, 2005. – 75 с. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Методы и модели анализа данных: OLAP и Data Mining. – Спб.: БХВ-Петербург, 2004. – 336 с. Боровиков В.П. Statistica. Искусство анализа данных на компьютере: Для профессионалов. 2-е изд. – СПб.: Питер, 2003. – 688 с. Гладков Л.А., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. – М.: ФИЗМАТЛИТ, 2006. – 320 с.

Содержание слайда: Рекомендуемая литература

Содержание слайда: Рекомендуемая литература Бериков В.Б. Анализ статистических данных с использованием деревьев решений: Учебное пособие. – Новосибирск. Изд-во НГТУ, 2002. – 60 с. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. М.: Мир, вып. 1, 1974. – 406 с.; вып. 2 – 197 с. Боровиков В.П., Ивченко Г.И. Прогнозирование в системе Statistica в среде Windows. Основы теории и интенсивная практика на компьютере. Учеб. Пособие. – М.: Финансы и статистика, 1999. – 384 с. Губарев В.В. Интеллектуальный анализ данных и вариативное моделирование в экспериментальных исследованиях.//Информационные системы и технологии. ИСТ, 2001: Сб. научн. статей. – Новосибирск: НГТУ, 2001. – С. 5-25. Губарев В.В. Вероятностные модели / Новосиб. электротехн. ин-т. – Новосибирск, 1992. – Ч.1. – 198 с; Ч.2. – 188 с. Губарев В.В., Альсова О.К. Вариативное моделирование на примере решения прикладной задачи.// ИСТ-2000: Матер. междун. науч.-техн. конф. – Новосибирск, НГТУ, 2000, том 2, С. 285-286. Губарев В.В., Альсова О.К., Швайкова И.Н. Интеллектуальный анализ «данных» и вариативное моделирование с системных позиций.// SCM’2000: International Conference on Soft Computing and Measurements. – Санкт-Петербург, СПб-ГЭТУ, 2000, С. 65-68.

Содержание слайда: Рекомендуемая литература Дюк В.А., Самойленко А.П. Data Mining: учебный курс. — СПб.: Питер, 2001. – 368 с. Елманова Н. Введение в Data Mining.// Компьютер Пресс 8, 2003, С. 28-39. Кендэл М. Временные ряды. – М.: Финансы и статистика, 1981. – 199 с. Корнеев В.В., Гареев А.Ф., Васютин С.В., Райх В.В. Базы данных. Интеллектуальная обработка информации. – М.: Изд-во Нолидж, 2001. – 496 с. Курейчик В.М., Родзин С.И. Эволюционные алгоритмы: генетическое программирование. Обзор // Известия РАН. ТиСУ. 2002. №1. С. 127-137. Струнков Т. Что такое генетические алгоритмы.//PC Week RE, №19, 1999. Факторный, дискриминантный и кластерный анализ/Пер. с англ. А.М. Хотинского. Под ред. И.С. Енюкова. -М.: Финансы и статистика, 1989. Четыркин Е.М. Статистические методы прогнозирования. – М.: Статистика, 1977. – 199с. Шапот М. Интеллектуальный анализ данных в системах поддержки принятия решений.//Открытые системы, №1, 1998, С. 30-35. Шапот М., Рощупкина В. Интеллектуальный анализ данных и управление процессами.//Открытые системы №4-5, 1998, С. 40-44. Щавелев Л.В. Способы аналитической обработки данных для поддержки принятия решений.// СУБД. - 1998. - № 4-5. Эвоинформатика: Теория и практика эволюционного моделирования./И.Л. Букатова, Ю.И. Михасев, А.М. Шаров. – М.: Наука, 1991. – 206 с.

Содержание слайда: Рекомендуемая литература Гайдышев И. Анализ и обработка данных: специальных справочник. – Спб.: Питер, 2001. – 752 с. И.Гайдышев. Решение научных и инженерных задач средствами Excel, VBA и C/C++.- СПб.: БХВ-Петербург, 2004. – 504 с.

Содержание слайда: Иллюстрации Большинство примеров и иллюстраций заимствованы из учебных пособий, представленных в списке рекомендованной литературы. На лекции в обязательном порядке указывается источник.

Содержание слайда: Признаки

Содержание слайда: Методы DM

Содержание слайда: Системы DM

Содержание слайда: Программное обеспечение анализа данных

Содержание слайда: Программное обеспечение анализа данных

Содержание слайда: Пакеты

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Последовательность операций

Содержание слайда: Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Обозначения СК или SS – сумма квадратов SSфакт. – вариативность, обусловленная действием исследуемого фактора SSобщ. – общая вариативность SSсл. – случайная вариативность MS – «средний квадрат» (математическое ожидание суммы квадратов, усредненная величина соответствующих SS) df – число степеней свободы.

Содержание слайда: Дисперсионный анализ Однофакторный дисперсионный анализ для несвязанных выборок Последовательность операций

Содержание слайда: Дисперсионный анализ

Содержание слайда: Дисперсионный анализ

Содержание слайда: Корреляционный анализ

Содержание слайда: Корреляционный анализ Коэффициенты корреляции в зависимости от типа переменных

Содержание слайда: Линия регрессии

Содержание слайда: Регрессионный анализ

Содержание слайда: Регрессионный анализ

Содержание слайда: Регрессионный анализ Пример расчетов

Содержание слайда: Регрессионный анализ

Содержание слайда: Регрессионный анализ

Содержание слайда: Регрессионный анализ

Содержание слайда: Регрессионный анализ

Содержание слайда: Регрессионный анализ

Содержание слайда: Регрессионный анализ

Содержание слайда: Задание на л/р По результатам статистического исследования физического развития мальчиков 5 лет известно, что их средний рост (х) равен 109 см, а средняя масса тела (у) равна 19 кг. Коэффициент корреляции между ростом и массой тела составляет + 0,9, средние квадратические отклонения представлены в таблице. Требуется: 1) рассчитать коэффициент регрессии; 2) по уравнению регрессии определить, какой будет ожидаемая масса тела мальчиков 5 лет при росте, равном х1 = 100 см, х2 = 110 см, х3= 120 см; 3) рассчитать сигму регрессии, построить шкалу регрессии и предста- вить результаты ее решения в графическом виде; 4) сделать соответствующие выводы.

Содержание слайда: Задание на л/р

Содержание слайда: Решение задачи ЭТАПЫ РЕШЕНИЯ ЗАДАЧИ 1. Коэффициент регрессии: Ry/x = rxy х (σy/σx) = +0,9 × (0,8/4,4) = 0,16 кг/см. Таким образом, при увеличении роста мальчиков 5 лет на 1 м масса тела увеличивается на 0,16 кг. 2. Уравнение регрессии: y = My + Ry/x (x – Mx) х1 = 100 см х2 = 110 см х3 = 120 см у1 = 19 + 0,16 (100 – 109) = 17,56 кг у2 = 19 + 0,16 (110 – 109) = 19,16 кг у3 = 19 + 0,16 (120 – 109) = 20,76 кг

Содержание слайда: Решение

Содержание слайда: Транзакции

Содержание слайда: Алгоритм (* [Чубукова])

Содержание слайда: Алгоритм (* Чубукова)

Содержание слайда: Алгоритм (* Чубукова)

Содержание слайда: Алгоритм

Содержание слайда: Алгоритм

Содержание слайда: Алгоритм. Свойство антимонотонности

Содержание слайда: Алгоритм

Содержание слайда: Примеры

Содержание слайда: Примеры

Содержание слайда: Примеры

Содержание слайда: Деревья решений (decision trees)

Содержание слайда: Деревья решений Дерево решений (выдача кредита)

Содержание слайда:

Содержание слайда: Конструирование модели Конструирование модели

Содержание слайда: Классификация Использование модели

Содержание слайда: Классификация Пример решения методом линейной регрессии (схематическое решение)

Содержание слайда: Классификация Пример решения методом деревьев решений

Содержание слайда: Классификация Пример решения методом нейронный сетей

Содержание слайда: Классификация Метод находит образцы, находящиеся на границах между двумя классами, т.е. опорные вектора. Опорными векторами называются объекты множества, лежащие на границах областей.

Содержание слайда: Классификация Классификация считается хорошей, если область между границами пуста.

Содержание слайда: Классификация

Содержание слайда: Классификация Метод k-ближайших соседей для решения задач классификации

Содержание слайда: Классификация

Содержание слайда: Классификация

Содержание слайда: Классификация

Содержание слайда: Классификация

Содержание слайда: Классификация Y – вектор выходных сигналов, X – вектор входных сигналов, в выходном слое N0 нейронов, в каждом скрытом слое – NH нейронов, входной слой – NI нейронов.

Содержание слайда: Классификация Результат работы i-го слоя (Yi – вектор выхода i-го слоя многослойного перцептрона):

Содержание слайда: Классификация Если заданы начальные значения Y: yj,0=xj, то результат работы перцептрона

Содержание слайда: Классификация Двухслойный перцептрон

Содержание слайда: Классификация

Содержание слайда: Классификация

Содержание слайда: Кластеризация

Содержание слайда: Кластеризация Кластеры: пересекающиеся и непересекающиеся

Содержание слайда: Кластеризация Дендрограмма

Содержание слайда: Кластеризация Необходимость нормировки (разные масштабы  разные классы)

Содержание слайда: Кластеризация

Содержание слайда: Кластеризация Расстояние в пространстве трех измерений

Содержание слайда: Кластеризация

Содержание слайда: Кластеризация Задание: описать последовательность объединения в классы

Содержание слайда: Кластеризация

Содержание слайда: Кластеризация Метод k-средних, k=2

Содержание слайда: Факторный анализ Жирным выделены значимые нагрузки

Содержание слайда: Факторный анализ

Содержание слайда: Факторный анализ

Содержание слайда: Факторный анализ

Содержание слайда: Анализ временных рядов График ежедневных данных о среднем числе дефектов на грузовик в конце сборочного конвейера на предприятии по производству грузовиков. Наблюдения осциллируют на некотором постоянном уровне. Стационарный временной ряд (стационарный в среднем, специальный случай стационарных временных рядов). Ряд может быть описан авторегрессионной моделью скользящего среднего (ARMA), предложенной в методологии Бокса–Дженкинса.

Содержание слайда: Анализ временных рядов Данные о производстве (ежегодном) табака в США. Не варьируются около постоянного значения, выявляют предельный, вверх направленный тренд. Дисперсия увеличивается с увеличением времени. Нестационарный по среднему и по дисперсии временной ряд.

Содержание слайда: Анализ временных рядов Ежеквартальные данные о производстве пива в США в течение нескольких лет. Сезонный временной ряд, проявляющий ежегодную тенденцию к повторению. Период сезонности, т.е. интервал, через который тенденция повторяется, равен 4. Для анализа данного ряда может быть предложена модификация модели Бокса–Дженкинса. Альтернативным способом моделирования является сезонная декомпозиция.

Содержание слайда: Анализ временных рядов График реализации вина сладкого сорта на территории Австралии с января 1980 по июнь 1994 года. Нестационарный ряд– изменение в структуре ряда, возникшее из-за некоторого внешнего события. Такой тип нестационарности нельзя учесть, применяя то или иное стандартное преобразование.

Содержание слайда: Анализ временных рядов Двумерный временной ряд. Ряды коррелированны. Переменные взаимно влияют друг на друга. Необходимо использовать сложные методы анализа, например, векторные авторегрессионные модели скользящего среднего.

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов Обнаружена сезонная составляющая с периодом, равным 12 месяцев (r120.9).

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов Неадекватная модель

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов Выделены тренд-циклический, сезонный и случайный компоненты

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов Временной ряд, содержащий тренд: коррелограмма не стремится к 0.

Содержание слайда: Анализ временных рядов Ряд с сезонной составляющей, после удаления тренда: коррелограмма показывает наличие сезонной составляющей

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов 2 =1

Содержание слайда: Анализ временных рядов

Содержание слайда: Анализ временных рядов Автокорреляционные функции авторегрессионных рядов экспоненциально затухают или представляют экспоненциально затухающие синусоидальные волны.

Содержание слайда: Анализ временных рядов

Содержание слайда:

Содержание слайда: Генетические алгоритмы

Содержание слайда: Генетические алгоритмы

Содержание слайда: Генетические алгоритмы

Содержание слайда: Параллельные ГА Модель миграции

Содержание слайда: Параллельные ГА

Содержание слайда: Параллельные ГА

Содержание слайда: Параллельные ГА

Содержание слайда: PolyAnalyst

Содержание слайда:

Содержание слайда: НАЧАЛО // простой генетический алгоритм     Создать начальную совокупность структур(популяцию)     Оценить каждую структуру     останов := FALSE     ПОКА НЕ останов ВЫПОЛНЯТЬ     НАЧАЛО // новая итерация (поколение)         Применить оператор отбора         ПОВТОРИТЬ (размер_популяции/2) РАЗ         НАЧАЛО // цикл воспроизводства             Выбрать две структуры (родители) из множества предыдущей                 итерации             Применить оператор скрещивания с заданной вероятностью к                 выбранным структурам и получить две новые структуры                 (потомки)             Оценить эти новые структуры             Если оператор скрещивания не применяется, то потомки                 становятся копиями своих родителей             Поместить потомков в новое поколение         КОНЕЦ         Применить оператор мутации с заданной верояностью         ЕСЛИ популяция сошлась ТО останов := TRUE     КОНЕЦ КОНЕЦ НАЧАЛО // простой генетический алгоритм     Создать начальную совокупность структур(популяцию)     Оценить каждую структуру     останов := FALSE     ПОКА НЕ останов ВЫПОЛНЯТЬ     НАЧАЛО // новая итерация (поколение)         Применить оператор отбора         ПОВТОРИТЬ (размер_популяции/2) РАЗ         НАЧАЛО // цикл воспроизводства             Выбрать две структуры (родители) из множества предыдущей                 итерации             Применить оператор скрещивания с заданной вероятностью к                 выбранным структурам и получить две новые структуры                 (потомки)             Оценить эти новые структуры             Если оператор скрещивания не применяется, то потомки                 становятся копиями своих родителей             Поместить потомков в новое поколение         КОНЕЦ         Применить оператор мутации с заданной верояностью         ЕСЛИ популяция сошлась ТО останов := TRUE     КОНЕЦ КОНЕЦ