Презентация Статистические методы анализа данных параметров транспортного процесса онлайн

Содержание слайда: Тема лекции №3 Статистические методы анализа данных параметров транспортного процесса.

Содержание слайда: Цель лекции – изучить статистические методы анализа данных параметров транспортного процесса. План лекции. Статистические методы анализа данных. Методы анализа данных в MS Excel. Прикладной пакет Statistica. Решение задач в пакете Statistica.

Содержание слайда: 1. Статистические методы анализа данных. Статистика изучает большие массивы информации и устанавливает закономерности, которым подчиняются случайные массовые явления. Под математической статистикой понимается раздел математики, посвященный математическим методам сбора, систематизации, обработки и интерпретации статистических данных. Прикладная статистика – ориентированные на прикладную деятельность статистические методы анализа реальных данных, а также методологии организации статистических исследований и их компьютерной обработки. Теоретическая база – теория вероятностей и математическая статистика. Анализ данных – позволяет подобрать информацию, которая поможет ответить на все вопросы исследований и проверить гипотезы.

Содержание слайда:

Содержание слайда: В теории статистику принято условно различать на: В теории статистику принято условно различать на: - описательную - аналитическую. Описательная статистика связана с планированием исследования, сбором информации и представлением полученных результатов в виде статистических показателей. Удобная форма представления статистической информации - таблицы, графики. Задача аналитической статистики - выявить причинные связи, оценить влияние исследуемых факторов и сделать надлежащие выводы, на основании которых могут быть приняты ответственные решения.

Содержание слайда: Типовые задачи анализа данных. Типовые задачи анализа данных. Одномерный анализ: Сравнение математических ожиданий; Сравнение дисперсий; Оценивание параметров распределений; Установление закона распределения; Отбраковка данных. Многомерный анализ: Исследование зависимостей между признаками; Классификация объектов; Снижение размерности пространства признаков.

Содержание слайда: Классификация методов анализа данных

Содержание слайда: Классификация методов анализа данных

Содержание слайда: Основные задачи статистического анализа: статистическая проверка гипотез; определение числа наблюдений и получение выборки; определение характеристик генеральной совокупности на основе характеристик выборочной совокупности; построение уравнений корреляционной связи (уравнений регрессии); создание модели наблюдений (закон распределения); оценка параметров модели; изучение согласия между моделью и наблюдениями; реальное решение задач посредством оценки параметров и критериев значимости.

Содержание слайда: Способы представления данных Группировка Табулирование Ранжирование Распределение частот Интервальное распределения частот Статистические ряды Графическое представление данных 

Содержание слайда: Меры центральной тенденции Мода Медиана Среднее арифметическое значение Среднее геометрическое Среднее гармоническое

Содержание слайда: Меры изменчивости (вариативности) Размах Квартильный размах Дисперсия Стандартное отклонение Коэффициент вариации Асимметрия Эксцесс 

Содержание слайда: Совокупность – группа объектов, предметов или явлений, объединенных каким-либо общим признаком или свойством качественной или количественной характеристики (генеральная или выборочная совокупность). Совокупность – группа объектов, предметов или явлений, объединенных каким-либо общим признаком или свойством качественной или количественной характеристики (генеральная или выборочная совокупность). Выборка или выборочная совокупность — часть генеральной совокупности элементов, которая охватывается экспериментом (наблюдением, опросом). Характеристики выборки: Качественная характеристика выборки — что именно мы выбираем и какие способы построения выборки мы для этого используем. Количественная характеристика выборки — сколько случаев выбираем, другими словами объём выборки. Необходимость выборки: Объект исследования очень обширный. Существует необходимость в сборе первичной информации. Заметим, что из генеральной совокупности можно отобрать огромное число выборок. Например, при генеральной совокупности N, равной 100 элементам, можно извлечь выборки объемом n =10 в количестве 17·1012 вариантов (!).

Содержание слайда: Характеристики совокупностей

Содержание слайда: При проведении выборочного наблюдения необходимо соблюдать следующие требования: При проведении выборочного наблюдения необходимо соблюдать следующие требования: единицы совокупности должны быть: легко различимы; на перекрывать друг друга; образовывать всю совокупность; выбор единиц совокупности должен соответствовать целям наблюдения; они должны быть удобны для работы; должна существовать возможность их перечисления (составление перечня); выборочная совокупность должна быть репрезентативной (представительской), т.е. давать представление обо всей совокупности для этого используется метод случайного отбора.

Содержание слайда: Процесс построения выборки - из большей по размеру генеральной совокупности извлекается выборка для проведения измерений и подробного анализа. Процесс построения выборки - из большей по размеру генеральной совокупности извлекается выборка для проведения измерений и подробного анализа. При этом полагается, что выборка является репрезентативной (представительной). Суть репрезентативности выборки – выборка (часть целого) должна достоверно отражать генеральную совокупность (само целое). Этому соответствует одинаковость частот проявления признака (свойства) как для выборки, так и для всей совокупности, т.е. кривые распределения должны быть идентичными (положение центра, характер формы кривой). Различие только по размаху вариации (дисперсии) – генеральная совокупность должна иметь меньший разброс относительно среднего.

Содержание слайда: Для того, чтобы выборка была репрезентативной (хорошо представлять элементы ГС), она должна быть отобрана случайно. Для того, чтобы выборка была репрезентативной (хорошо представлять элементы ГС), она должна быть отобрана случайно. Случайность отбора элементов в выборку достигается соблюдением принципа равной возможности каждого элемента ГС быть отобранным в выборку. Нарушение принципов случайного выбора приводит к серьезным ошибкам. Любое число, полученное на основе выборки, носит название «выборочная статистика» (или просто «статистика»).

Содержание слайда:

Содержание слайда: Данный вариационный ряд носит название дискретного вариационного ряда (его члены принимают отдельные изолированные значения). Вариационным рядом называется ранжированный в порядке возрастания ряд значений (вариантов) с соответствующими им частотами.

Содержание слайда: Построение дискретного вариационного ряда нецелесообразно, когда число значений в выборке велико или признак имеет непрерывную природу, т.е. может принимать любые значения в пределах некоторого интервала. В этом случае строят интервальный вариационный ряд. Построение дискретного вариационного ряда нецелесообразно, когда число значений в выборке велико или признак имеет непрерывную природу, т.е. может принимать любые значения в пределах некоторого интервала. В этом случае строят интервальный вариационный ряд. Вид интервального ряда:

Содержание слайда: Статистический метод определения объема выборки Для бесповторного отбора Для повторного отбора где σ2 – дисперсия генеральной совокупности; N – размер генеральной совокупности; ∆x – доверительный интервал (предельная ошибка); t – критерий Стьюдента или табулированная константа, табличные значения этой величины следующие: t=1,96, при =0,05; t=2,58, при =0,01.

Содержание слайда: Особенность представленных формул : Особенность представленных формул : - в первом случае можно вести расчет, отталкиваясь от известного нам объема самой генеральной совокупности N. - вторая формула позволяет получить результат, формально игнорируя её количественный размер. При планировании выборочного исследования предполагается заранее, что известны следующие данные: величина допустимой ошибки выборки ∆х (доверительного интервала); вероятность выводов по результатам наблюдения (величина t-критерия при заданной доверительной вероятности Р или уровне значимости α).

Содержание слайда: Величина σ2 , характеризующая дисперсию признака в генеральной совокупности, чаще всего бывает неизвестна. Поэтому используют следующие приближенные способы оценки генеральной дисперсии. Величина σ2 , характеризующая дисперсию признака в генеральной совокупности, чаще всего бывает неизвестна. Поэтому используют следующие приближенные способы оценки генеральной дисперсии. 1. Можно провести пробное исследование (обычно небольшого объема), на базе которого определяется величина дисперсии этой выборки, используемой в качестве оценки генеральной дисперсии: где xпроб - среднее арифметическое по результатам пробного исследования; nпроб - число единиц, попавших в пробное исследование. По данным нескольких таких маломасштабных экспериментов выбирается наибольшее значение дисперсии, которое и будет использовано при проведении полного исследования.

Содержание слайда: 2. Можно использовать данные прошлых выборочных наблюдений, проводившихся в аналогичных целях, т.е. дисперсия, полученная по их результатам, применяется в качестве оценки генеральной дисперсии. 2. Можно использовать данные прошлых выборочных наблюдений, проводившихся в аналогичных целях, т.е. дисперсия, полученная по их результатам, применяется в качестве оценки генеральной дисперсии. 3. Если распределение признака в генеральной совокупности может быть отнесена к нормальному закону распределения, то размах вариации примерно равен 6σ (крайние значения отстоят в ту и другую сторону от средней на расстоянии 3σ для Р=99,7%), т.е. R=6σ, откуда σ=1/6R, где R=хmax - хmin.

Содержание слайда: 2. Методы анализа данных в MS Excel. Программа MS Excel обладает: специальным набором функций, которые позволяют вычислять функции распределения случайных величин; средствами графического представления данных (постройка диаграмм); собственным языком программирования (VBA), с помощью которого можно задавать сложные расчетные алгоритмы; набором элементов управления, которые можно внедрять в рабочие листы электронных таблиц; удобным способом сохранения данных в виде электронных таблиц; использование формул в ячейках для вычисляемых полей.

Содержание слайда: Файл MS Excel представляет собой книгу, которая состоит из набора листов. Файл MS Excel представляет собой книгу, которая состоит из набора листов. Каждый лист представляет собой таблицу ячеек. Каждая ячейка может хранить информацию и адресуется именем столбца и номером строки. Ячейки могут быть вычисляемы, т.е. содержать формулу вычисления по другим ячейкам или их диапазону. Каждый лист имеет программный модуль, который содержит функции-обработчики событий с данным листом.

Содержание слайда: Функции MS Excel, используемые при расчете показателей положения 1. Функция МИН. МИН(число1;число2;…). Функция МИН находит наименьшее значение в множестве данных. 2. Функция НАИМЕНЬШИЙ. НАИМЕНЬШИЙ(массив;k). Функция НАИМЕНЬШИЙ находит k-е по порядку (начиная с минимального) наименьшее значение в множестве данных. 3. Функция МАКС. МАКС(число1;число2;…). Функция МАКС находит наибольшее значение в множестве данных. 4. Функция НАИБОЛЬШИЙ. НАИБОЛЬШИЙ(массив;k). Функция НАИБОЛЬШИЙ находит k-е по порядку (начиная с максимального) наибольшее значение в множестве данных.

Содержание слайда: 5. Функция КВАРТИЛЬ. 5. Функция КВАРТИЛЬ. КВАРТИЛЬ(массив;k). Функция КВАРТИЛЬ рассчитывает квартиль дискретного вариационного ряда. Функция КВАРТИЛЬ рассчитывает: минимальное значение, если k=0; первую квартиль, если k=1; значение медианы, если k=2; третью квартиль, если k=3; максимальное значение, если k=4. Функция КВАРТИЛЬ не требует предварительной ранжировки данных она проводит её автоматически.

Содержание слайда: 6. Функция СРЗНАЧ. 6. Функция СРЗНАЧ. СРЗНАЧ(число1;число2;…). Функция СРЗНАЧ рассчитывает значение невзвешенной средней арифметической множества данных. 7. Функция СРГАРМ. СРГАРМ(число1;число2;…). Функция СРГАРМ рассчитывает значение невзвешенной средней гармонической множества данных. На практике используется редко. 8. Функция СРГЕОМ. СРГЕОМ(число1;число2;…). Функция СРГЕОМ рассчитывает среднюю геометрическую значений массива положительных чисел. 9. Функция МОДА. МОДА(число1;число2;…). Функция МОДА отображает наиболее часто встречающееся значение в интервале данных. 10. Функция МЕДИАНА. МЕДИАНА(число1;число2;…). Функция МЕДИАНА рассчитывает медиану заданного дискретного вариационного ряда.

Содержание слайда: Функции MS Excel, используемые при расчете показателей разброса 1. Функция ДИСП. ДИСП(число1;число2;…). Функция ДИСП оценивает генеральную дисперсию по выборке. 2. Функция ДИСПР. ДИСПР(число1;число2;…). Функция ДИСПР вычисляет невзвешенную дисперсию по генеральной совокупности. Часто генеральную дисперсию обозначают 2.

Содержание слайда: 3. Функция СТАНДОТКЛОН. 3. Функция СТАНДОТКЛОН. СТАНДОТКЛОН(число1;число2;…). Функция СТАНДОТКЛОН оценивает генеральное стандартное отклонение (стандарт) по выборке. Функция СТАНДОТКЛОН рассчитывает стандарт при условии, что исходные данные образуют выборочную совокупность. В случае, если совокупность является генеральной, то необходимо воспользоваться функцией СТАНДОТКЛОНП. 4. Функция СТАНДОТКЛОНП. СТАНДОТКЛОНП(число1;число2;…). Функция СТАНДОТКЛОНП вычисляет стандартное отклонение по генеральной совокупности. 5. Функция СРОТКЛ. СРОТКЛ(число1;число2;…). Функция СРОТКЛ вычисляет среднее невзвешенное отклонение множества данных.

Содержание слайда: Функция Excel, используемая при расчете показателя асимметрии Функция СКОС. СКОС(число1;число2;…). Функция СКОС оценивает коэффициент асимметрии по выборке.

Содержание слайда: Функция Excel, используемая при расчете показателя распределения Функция ЭКСЦЕСС. ЭКСЦЕСС(число1;число2;…). Функция ЭКЦЕСС оценивает эксцесс по выборке

Содержание слайда: Выход в режим «Описательная статистика»

Содержание слайда: Справочная информация по технологии работы в режиме «Описательная статистика»

Содержание слайда: Ввод данных

Содержание слайда: Результаты

Содержание слайда: Справочная информация по технологии работы в режиме «Гистограмма»

Содержание слайда:

Содержание слайда: Ввод данных

Содержание слайда: Результат

Содержание слайда: Справочная информация по технологии работы в режиме «Выборка»

Содержание слайда:

Содержание слайда:

Содержание слайда: Результаты «Выборки»

Содержание слайда: Функции генерации случайных величин

Содержание слайда: Функция генерации равномерного распределения на отрезке Возвращает равномерно распределенное случайное число, большее либо равное 0 и меньшее 1. Синтаксис СЛЧИС( ) Чтобы получить случайное вещественное число между a и b, можно использовать следующую формулу: СЛЧИС()*(b-a)+a Если требуется использовать функцию СЛЧИС для генерации случайного числа, но изменение этого числа при каждом вычислении значения ячейки нежелательно, можно ввести в строку формул =СЛЧИС(), а затем нажать клавишу F9, чтобы заменить формулу на случайное число.

Содержание слайда: Генерация случайных чисел по равномерному закону распределения Приведенная реализация случайной величины с интервалом [0, 1] к реализации величины с параметром расположения a и формы b осуществляется на основании соотношения: где R(a,b) – равномерно распределенная случайная величина с параметром расположения а и параметром формы b; R01 – случайная величина, равномерно распределена в интервале от 0 до 1.

Содержание слайда: Генерация случайных чисел по нормальному закону распределения Нормально распределенная случайная величина N01 с нулевым математическим ожиданием и средним квадратическим отклонением 1 генерируется на основании связи с равномерным распределением R01: Случайная величина N(μ,σ), распределена по нормальному закону с параметром расположения μ и параметром масштаба σ, приводится с N01 на основании соотношения:

Содержание слайда: Генерация случайных чисел по экспоненциальному закону распределения Значения экспонентно распределенной случайной величины с параметром масштаба b генерируется на основании значения случайной величины с равномерным распределением в интервале от 0 до 1 соответственно по выражению: где E(b) – значение случайной величины, распределенной по экспоненциальному закону с математическим ожиданием, равным b.

Содержание слайда: 3. Прикладной пакет Statistica. ПП STATISTICA – это универсальная интегрированная система, предназначенная для статистического анализа и обработки данных. Содержит многофункциональную систему для работы с данными, широкий набор статистических модулей, в которых собраны группы логически связанных между собой статистических процедур, специальный инструментарий для подготовки отчетов, мощную графическую систему для визуализации данных, систему обмена данными с другими Windows-приложениями. С помощью реализованных в системе STATISTICA языков программирования (SQL, STATISTICA BASIC), снабженных специальными средствами поддержки, легко создаются законченные пользовательские решения и встраиваются в различные другие приложения или вычислительные среды.

Содержание слайда: История создания пакета Statistica Система STATISTICA производится фирмой StatSoft Inc. (США), основанной в 1984 г. в городе Тулса (США). Первые программные продукты фирмы (PsyhoStat-2,3) были предназначены для обработки социологических данных. В 1985 г. StatSoft выпускает первую систему статистического анализа для компьютеров Apple Macintosh (StatFast) и статистический пакет для IBM PC (STATS+). В 1986 г. начинается работа по созданию интегрированных статистических пакетов комплексной обработки данных. В 1991 г. выходит первая версия системы STATISTICA/DOS. Эта программа представляла собой новое направление развития статистического программного обеспечения, так как в ней реализован графически ориентированный подход к анализу данных, могла анализировать фактически неограниченный объем данных. В 1992 г. вышла версия STATISTICA для Macintosh. В 1994 г. выходит версия STATISTICA 4.5 для Windows, которая сразу же занимает лидирующее положение среди статистических пакетов.

Содержание слайда:

Содержание слайда: Решение задач с помощью ПП Statistica (Base) Описательные и внутригрупповые статистики, разведочный анализ данных Корреляции Быстрые основные статистики и блоковые статистики Интерактивный вероятностный калькулятор T-критерии (и другие критерии групповых различий) Таблицы частот, сопряженности, флагов и заголовков, анализ многомерных откликов Множественная регрессия Непараметрические статистики Дисперсионный анализ (ANOVA/MANOVA) Подгонка распределений

Содержание слайда: Описательные статистики и графики Программа вычисляет практически все используемые описательные статистики общего характера: медиану, моду, квартили, заданные пользователем процентили, среднее значение и стандартное отклонение, квартильный размах, доверительные интервалы для среднего, асимметрию и эксцесс (и их стандартные ошибки), гармоническое и геометрическое среднее. Доступны разнообразные графики и диаграммы, в т.ч. различные виды диаграмм размаха и гистограмм, гистограммы двумерных распределений (трехмерные и категоризованные), двух- и трехмерные диаграммы рассеяния с помеченными подмножествами данных, нормальные и полунормальные вероятностные графики и графики с исключенным трендом, графики квантиль-квантиль, вероятность-вероятность и т.д. Имеется набор критериев для подгонки нормального распределения к данным (критерии Колмогорова-Смирнова, Лилиефорса и Шапиро-Уилкса). 

Содержание слайда: 4. Решение задач в пакете Statistica.