Презентация СППР, хранилища и витрины данных, интеллектуальный анализ данных онлайн

Содержание слайда: СППР, хранилища и витрины данных, интеллектуальный анализ данных

Содержание слайда: «Заглядывай вперед или окажешься позади» «Заглядывай вперед или окажешься позади» Бенджамин Франклин «Планировать – это хлопотать по поводу наилучшего метода получения случайного результата» Амброз Бирс « Решить – смириться с перевесом одних внешних влияний над другими» Амброз Бирс

Содержание слайда: « Человека, который преуспел в руководстве, но не искушен в выполнении трех интеллектуальных функций управления (формирование политики, принятие решений и контроль), можно сравнить с циркачом на одноколесном велосипеде – он демонстрирует виртуозные трюки во время представления, но мальчик посыльный на обычном велосипеде движется более устойчиво и перевозит полезный груз» « Человека, который преуспел в руководстве, но не искушен в выполнении трех интеллектуальных функций управления (формирование политики, принятие решений и контроль), можно сравнить с циркачом на одноколесном велосипеде – он демонстрирует виртуозные трюки во время представления, но мальчик посыльный на обычном велосипеде движется более устойчиво и перевозит полезный груз» Стаффорд Бир

Содержание слайда: « Планирование – это проектирование желаемого будущего и эффективных путей его достижения. « Планирование – это проектирование желаемого будущего и эффективных путей его достижения. Это орудие мудрых, но не одних только их. В руках же мелких людей оно часто превращается в бесполезный ритуал, который порождает кратковременную успокоенность, а не творит будущее, к которому стремятся. Лучшие образцы планирования являются в такой же степени творениями искусства, как и науки. Здесь, как нигде, важно их гармоническое сочетание.» Р.Л. Акофф

Содержание слайда: Технология Data Мining (также называемая Knowledge Discovery in Data) изучает процесс нахождения новых, действительных и потенциально полезных знаний в базах данных. Data Мining лежит на пересечении нескольких наук, главные из которых - это системы баз данных, статистика и искусственный интеллект.

Содержание слайда: Системы поддержки принятия решений - СППР (DSS, Decision Support Systems) Основная задача СППР - предоставить аналитикам инструмент для выполнения анализа данных. Необходимо отметить, что для эффективного использования СППР ее пользователь-аналитик должен обладать соответствующей квалификацией. Система не генерирует правильные решения, а только предоставляет аналитику данные в соответствующем виде (отчеты, таблицы, графики и т. п.) для изучения и анализа. СППР решают три основные задачи: сбор, хранение и анализ хранимой информации.

Содержание слайда: Компьютерный анализ ситуаций, создаваемый СППР

Содержание слайда: Классы задач анализа данных Информационно-поисковый: СППР осуществляет поиск необходимых данных. Характерной чертой такого анализа является выполнение заранее определенных запросов. Оперативно-аналитический: СППР производит группирование и обобщение данных в любом виде, необходимом аналитику. В отличие от информационно-поискового анализа в данном случае невозможно заранее предсказать необходимые аналитику запросы. Применяется многомерное представлений данных. Интеллектуальный: СППР осуществляет поиск функциональных и логических закономерностей в накопленных данных, построение моделей и правил. которые объясняют найденные закономерности и/или прогнозируют развитие некоторых процессов (с определенной вероятностью).

Содержание слайда:

Содержание слайда:

Содержание слайда: Хранилища данных В основе концепции ХД лежит идея разделения данных, используемых для оперативной обработки и для решения задач анализа. Хранилище данных - предметно ориентированный, интегрированный, неизменчивый, поддерживающий хронологию набор данных, организованный для целей поддержки принятия решений.

Содержание слайда:

Содержание слайда:

Содержание слайда: Проблемы создания физического ХД: необходимость интеграции данных из неоднородных источников в распределенной среде; потребность в эффективном хранении и обработке очень больших объемов информации; необходимость наличия многоуровневых справочников метаданных; повышенные требования к безопасности данных.

Содержание слайда: Buтpина данных (ВД) - это упрощенный вариант ХД, содержащий только тематически объединенные данные. Buтpина данных (ВД) - это упрощенный вариант ХД, содержащий только тематически объединенные данные.

Содержание слайда: Архитектура ХД

Содержание слайда: Состав ХД Детальными являются данные, переносимые непосредственно из ОИД. Они соответствуют элементарным событиям, фиксируемым OL ТР системами. (Haпример, продажи, эксперименты и др.). Принято разделять все данные на измерения и факты. Измерениями называются наборы данных, необходимые для описания событий (например, города, товары, люди и т. п.). Фактами называются данные, отражающие сущность события (например, количество проданного товара, результаты экспериментов и т. п.). На основании детальных данных могут быть получены агрегированные (обобщенные) данные.

Содержание слайда: Состав ХД Для удобства работы с ХД необходима информация о содержащихся в нем данных. Такая информация называется метаданными (данные о данных). Coгласно концепции Дж. Захмана, метаданные должны отвечать на следующие вопросы что (описание объектов), кто (описание пользователей), где (описание места хранения), как (описание действий), когда (описание времени) и почему (описание причин).

Содержание слайда: Информационные потоки в ХД Входной поток (Inflow) образуется данными, копируемыми из оперативных источников данных (ОИД) в ХД; поток обобщения (Upflow) образуется аrреrированием детальных дaнных и их сохранением в ХД; архивный поток (Downflow) образуется перемещением детальных дaнных, количество обращений к которым снизилось; поток метаданных (MetaFlow) образуется переносом информации о данных в репозиторий данных; выходной поток (Outf1ow) образуется данными, извлекаемыми пользователями; обратный поток (Feedback Flow) образуется очищенными данными, записываемыми обратно в ОИД.

Содержание слайда: ЕТL- процесс (Еxtraction, Тransformation, Loading)

Содержание слайда: Очистка данных Уровень ячейки таблицы: Орфографические ошибки (опечатки) Oтсутствие данных Фиктивные значения Логически неверные значения Закодированные значения Составные значения

Содержание слайда: ОLАР-системы Многомерная модель данных Измерение - это последовательность значений одного из анализируемых параметров. Например, для параметра "время" это последовательность календарных дней, для параметра "реrион" это может быть список городов. По ученому Кодду, многомерное концептуальное представление (multidimel1siol1al conceptual view) - это множественная перспектива, состоящая из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных. Одновременный анализ по нескольким измерениям определяется как многомерный анализ.

Содержание слайда: Гиперкуб

Содержание слайда: Операция среза (slice)

Содержание слайда: Операция вращения (rotate)

Содержание слайда: Консолидация (Drill Up) и детализация (Drill Down)

Содержание слайда: Двенадцать правил Кодда Многомерность Прозрачность Доступность Постоянная производительность при разработке отчетов Клиент-серверная архитектура Равноправие измерений Динамическое управление разреженными матрицами. Поддержка многопользовательского режима Неограниченные перекрестные операции Интуитивная манипуляция данными Гибкие возможности получения отчетов Неограниченная размерность и число уровней агрегации

Содержание слайда: Дополнительные правила Кодда Пакетное извлечение против интерпретации Поддержка всех моделей ОLАР-анализа Обработка ненормализованных данных Сохранение результатов OLAP: хранение их отдельно от исходных данных Исключение отсутствующих значений Обработка отсутствующих значений

Содержание слайда: Тест FASMI F AST (Быстрый) ANALYSIS (Анализ) SHARED (Разделяемой) МULТIDIМЕNSIONАL (Mногомерной) INFORMAТION (Информации)

Содержание слайда: OLAP-серверы MOLAP - многомерный (multivаriаtе) ОLАР. Для реализации многомерной модели используют многомерные БД; ROLAP - реляционный (relаtiоnаl) OLAP. Для реализации многомерной модели используют реляционные БД; HOLAP - гибридный (hybrid) OLAP. Для реализации многомерной модели используют и многомерные, и реляционные БД.

Содержание слайда: MOLAP

Содержание слайда: MOLAP Преимущества: поиск и выборка данных осуществляются значительно быстрее, легко включить в информационную модель разнообразные встроенные функции. Недостатки: большой объем, сложно хранить разреженные данные, чувствительны к изменениям структуры многомерной модели.

Содержание слайда: MOLAP – когда использовать? объем исходных данных для анализа не слишком велик (не более нескольких гигабайт), т. е. уровень агрегации данных достаточно высок; набор информационных измерений стабилен; время ответа системы на нерегламентированные запросы является наиболее критичным параметром; требуется широкое использование сложных встроенных функций.

Содержание слайда: ROLAP – схема «звезда»

Содержание слайда: ROLAP – схема «снежинка»

Содержание слайда: ROLAP Плюсы: в большинстве случаев корпоративные хранилища данных реализуются средствами реляционных СУБД и инструменты ROLAP позволяют производить анализ непосредственно над ними. в случае переменной размерности задачи, когда изменения в структуру измерений приходится вносить достаточно часто, RОLАР системы с динамическим представлением размерности являются оптимальным решением, т. к. в них такие модификации не требуют физической реорганизации БД; реляционные СУБД обеспечивают значительно более высокий уровень защиты данных и хорошие возможности разграничения прав доступа. Минусы: низкая скорость работы!