Презентация Точечное оценивание параметров распределений случайных величин онлайн

Содержание слайда: Глава 7. Точечное оценивание параметров распределений случайных величин

Содержание слайда: 7.1. Основные понятия, определения и критерии точечного оценивания Пусть наблюдается СВ Х с функцией распределения F(x) и плотностью распределения f(х). Случайная выборка измерения представлена вектором Xn=(X1, …, Xn) с реализацией хn=(х1, …, хn).

Содержание слайда: Будем предполагать, что законы распределения элементов выборки Хi совпадают с законом распределения наблюдаемой случайной величины, а закон распределения случайного вектора Xn=(X1, …, Xn) может быть найден по формулам теории вероятностей.

Содержание слайда: Параметром распределения случайной величины назовем ее числовую характеристику (математическое ожидание, дисперсию, момент и т.п.) либо неизвестную константу, которая явно содержится в выражении функции распределения. Параметром распределения случайной величины назовем ее числовую характеристику (математическое ожидание, дисперсию, момент и т.п.) либо неизвестную константу, которая явно содержится в выражении функции распределения. Параметр распределения будем обозначать , имея в виду, что в общем случае это векторная величина с компонентами .

Содержание слайда: Введем случайную величину = g(Xn) с реализацией Введем случайную величину = g(Xn) с реализацией = g(хn), где g – борелевская функция. Эту функцию назовем статистикой. В общем случае статистика - векторная случайная величина с компонентами = gi(Xn) и их реализацией =gi(хn) . Статистику , реализация которой принимается в качестве приближенного экспериментального значения параметра , будем называть точечной оценкой этого параметра.

Содержание слайда: Ясно, что не всякая зависимость gi(Xn) может давать удовлетворительную оценку неизвестного параметра ; чтобы быть подходящей, gi(Xn) должна обладать определенными свойствами. Именно, в соответствии с принципом оптимальности добиваются, чтобы оценка Ясно, что не всякая зависимость gi(Xn) может давать удовлетворительную оценку неизвестного параметра ; чтобы быть подходящей, gi(Xn) должна обладать определенными свойствами. Именно, в соответствии с принципом оптимальности добиваются, чтобы оценка = g(Xn) удовлетворяла следующим критериям точечного оценивания:

Содержание слайда: состоятельность, несмещенность, эффективность, достаточность и робастность. состоятельность, несмещенность, эффективность, достаточность и робастность. Если все эти свойства обеспечить не удается, то ограничиваются удовлетворением хотя бы какой-то их части. Состоятельность оценки – это сходимость ее по вероятности к оцениваемому параметру при n .

Содержание слайда: В случае состоятельной оценки вероятность сколь-нибудь существенного отличия от мала при достаточно большом объеме выборки измерений Х. Поскольку сходимость по вероятности следует из сходимости почти наверное и в среднем квадратическом, то сходимости последнего вида также следует считать признаком состоятельности оценки . В этом случае говорят о сильной состоятельности. В случае состоятельной оценки вероятность сколь-нибудь существенного отличия от мала при достаточно большом объеме выборки измерений Х. Поскольку сходимость по вероятности следует из сходимости почти наверное и в среднем квадратическом, то сходимости последнего вида также следует считать признаком состоятельности оценки . В этом случае говорят о сильной состоятельности.

Содержание слайда: Несмещенность оценки – это свойство вида: М( )=. Несмещенность оценки – это свойство вида: М( )=. Несмещенность гарантирует совпадение центра рассеяния возможных реализаций с оцениваемым параметром . Если это свойство не выполняется, т.е. М( ) - = b()  0, то оценку называют смещенной, при этом величину b() называют систематической ошибкой (смещением) оценки .

Содержание слайда: Очевидно, что зависит от n . Если  0 при n , то оценку называют асимптотически несмещенной. Не следует абсолютизировать это свойство. Во-первых, несмещенной оценки может не быть; во-вторых, требование несмещенности может прийти в противоречие с требованием минимума рассеяния относительно . Очевидно, что зависит от n . Если  0 при n , то оценку называют асимптотически несмещенной. Не следует абсолютизировать это свойство. Во-первых, несмещенной оценки может не быть; во-вторых, требование несмещенности может прийти в противоречие с требованием минимума рассеяния относительно .

Содержание слайда: Оценку называют эффективной, если ей соответствует минимальное значение ошибки. Оценку называют эффективной, если ей соответствует минимальное значение ошибки. В классе несмещенных оценок этот критерий означает минимальность дисперсии . Оценку называют асимптотически эффективной, если свойство минималь-ности относительно достигается в пределе n .

Содержание слайда: Оценку называют достаточной, если она содержит в себе столько же информации о параметре , сколько её в выборке Оценку называют достаточной, если она содержит в себе столько же информации о параметре , сколько её в выборке Xn=(X1, …, Xn). Оценку называют робастной, если она в каком-то смысле слабо зависит от изменения выборки Xn=(X1, …, Xn). Введенные признаки оптимизации оценок относятся к фиксированному состоянию параметра .

Содержание слайда: Если эти признаки имеют место для всякого из области его возможных реализаций, то говорят о равномерной состоятельности, несмещенности, эффективности, доста-точности и робастности оценки . Если эти признаки имеют место для всякого из области его возможных реализаций, то говорят о равномерной состоятельности, несмещенности, эффективности, доста-точности и робастности оценки . Оценки параметров распределений, удовлетворяющих хотя бы одному из перечисленных критериев оптимальности, могут строиться по разному. Основная задача теории точечного оценивания состоит в разработке методов построения оценок, обладающих всеми или какими-то из перечисленных оптимальных свойств.

Содержание слайда: 7.2. Точечные оценки математического ожидания и дисперсии Пусть имеется случайная величина X с математическим ожиданием m и дисперсией D; оба параметра неизвестны.

Содержание слайда: Над величиной X произведено n независимых опытов, давших результаты Над величиной X произведено n независимых опытов, давших результаты X1, …, Xn. Требуется найти состоятельные и несмещенные оценки для параметров m и D. В качестве оценки для математического ожидания естественно предложить среднее арифметическое наблюденных значений m*: m* (1)

Содержание слайда: Нетрудно убедиться, что эта оценка является состоятельной: согласно закону больших чисел, при увеличении n величина  сходится по вероятности к m. Оценка  является также и несмещенной, так как Нетрудно убедиться, что эта оценка является состоятельной: согласно закону больших чисел, при увеличении n величина  сходится по вероятности к m. Оценка  является также и несмещенной, так как . (2) Дисперсия этой оценки равна: . (3)

Содержание слайда: Эффективность или неэффектив-ность оценки зависит от вида закона распределения величины X. Можно доказать, что если величина X распределена по нормальному закону, дисперсия будет минимально возможной, т. е. оценка  является эффективной. Для других законов распределения это может быть и не так. Эффективность или неэффектив-ность оценки зависит от вида закона распределения величины X. Можно доказать, что если величина X распределена по нормальному закону, дисперсия будет минимально возможной, т. е. оценка  является эффективной. Для других законов распределения это может быть и не так.

Содержание слайда: Перейдем к оценке дисперсии D. На первый взгляд наиболее естественной оценкой представляется статистическая дисперсия: Перейдем к оценке дисперсии D. На первый взгляд наиболее естественной оценкой представляется статистическая дисперсия: , (4) где (5)

Содержание слайда: Проверим, является ли эта оценка состоятельной. Выразим ее через второй начальный момент Проверим, является ли эта оценка состоятельной. Выразим ее через второй начальный момент     (6)  Первый член в правой части есть среднее арифметическое n наблюденных значений случайной величины ; он сходится по вероятности к M[X2]=α2[X].

Содержание слайда: Второй член сходится по вероятности к m2; вся величина сходится по вероятности к величине Второй член сходится по вероятности к m2; вся величина сходится по вероятности к величине α2[X] – m2 = D. (7) Это означает, что оценка D* состоятельна. Проверим, является ли оценка D* также и несмещенной. Подставим в формулу (6) вместо  его выражение (5) и произведем указанные действия:

Содержание слайда: (7) (7) Найдем математическое ожидание величины (7): (8) Так как дисперсия D* не зависит от того, в какой точке выбрано начало координат, выберем его в точке m. (9)

Содержание слайда: (10) (10) Последнее равенство следует из того, что опыты независимы. Подставляя (9) и (10) в (8), получим: (11) Отсюда видно, что величина D* не является несмещенной оценкой для D: ее математическое ожидание не равно D, а несколько меньше.

Содержание слайда: Пользуясь оценкой D* вместо дисперсии D, мы будем совершать некоторую систематическую ошибку в меньшую сторону. Чтобы ликвидировать это смещение, достаточно ввести поправку, умножив величину D* на . Получим: Пользуясь оценкой D* вместо дисперсии D, мы будем совершать некоторую систематическую ошибку в меньшую сторону. Чтобы ликвидировать это смещение, достаточно ввести поправку, умножив величину D* на . Получим:

Содержание слайда: Такую «исправленную» статистическую дисперсию мы и выберем в качестве оценки для D: Такую «исправленную» статистическую дисперсию мы и выберем в качестве оценки для D: (12) Так как множитель  стремится к единице при n, а оценка D*  состоятельна, то оценка  также будет состоятельной.

Содержание слайда: На практике часто вместо формулы (12) бывает удобнее применять другую, равносильную ей, в которой статистическая дисперсия выражена через второй начальный момент: На практике часто вместо формулы (12) бывает удобнее применять другую, равносильную ей, в которой статистическая дисперсия выражена через второй начальный момент: (13)

Содержание слайда: При больших значениях n, естественно, обе оценки - смещенная D* и несмещенная  - будут различаться очень мало и введение поправочного множителя теряет смысл. При больших значениях n, естественно, обе оценки - смещенная D* и несмещенная  - будут различаться очень мало и введение поправочного множителя теряет смысл. Таким образом, мы пришли к следующим правилам обработки ограниченного по объему статистического материала.

Содержание слайда: Если даны значения x1,x2,…xn, принятые в n независимых опытах случайной величиной X с неизвестными математическим ожиданием m и дисперсией D, то для определения этих параметров следует пользоваться приближенными значениями (оценками): Если даны значения x1,x2,…xn, принятые в n независимых опытах случайной величиной X с неизвестными математическим ожиданием m и дисперсией D, то для определения этих параметров следует пользоваться приближенными значениями (оценками):

Содержание слайда: или или

Содержание слайда: 7.3. Методы получения оценок параметров распределения

Содержание слайда: Часто на практике на основании анализа физического механизма, порождающего случайную величину X, можно сделать вывод о законе распределения этой случайной величины. Однако параметры этого распределения неизвестны, и их необходимо оценить по результатам эксперимента, обычно представленных в виде конечной выборки x1, x2,…xn. Для решения такой задачи чаще всего применяются два метода: метод моментов и метод максимального правдоподобия. Часто на практике на основании анализа физического механизма, порождающего случайную величину X, можно сделать вывод о законе распределения этой случайной величины. Однако параметры этого распределения неизвестны, и их необходимо оценить по результатам эксперимента, обычно представленных в виде конечной выборки x1, x2,…xn. Для решения такой задачи чаще всего применяются два метода: метод моментов и метод максимального правдоподобия.

Содержание слайда: 7.3.1. Метод моментов Метод моментов состоит в приравнивании теоретических моментов соответствующим эмпирическим моментам того же порядка. Эмпирические начальные моменты k-го порядка определяются формулами: ,

Содержание слайда: а соответствующие им теоретические начальные моменты k-го порядка – формулами: а соответствующие им теоретические начальные моменты k-го порядка – формулами: для дискретных случайных величин, для непрерывных случайных величин,

Содержание слайда: где – оцениваемый параметр распределения. где – оцениваемый параметр распределения. Для получения оценок параметров распределения, содержащего два неизвестных параметра и , составляется система из двух уравнений где и – теоретический и эмпирический центральные моменты второго порядка.

Содержание слайда: Решением системы уравнений являются оценки и неизвестных параметров распределения и . Решением системы уравнений являются оценки и неизвестных параметров распределения и . Приравняв теоретический эмпирический начальные моменты первого порядка, получаем, что оценкой математического ожидания случайной величины X, имеющей произвольное распределение, будет выборочное среднее, т. е. .

Содержание слайда: Затем, приравняв теоретический и эмпирический центральные моменты второго порядка, получим, что оценка дисперсии случайной величины X, имеющей произвольное распределение, определяется формулой Затем, приравняв теоретический и эмпирический центральные моменты второго порядка, получим, что оценка дисперсии случайной величины X, имеющей произвольное распределение, определяется формулой . Подобным образом можно найти оценки теоретических моментов любого порядка.

Содержание слайда: Метод моментов отличается простотой и не требует сложных вычислений, но полученные этим методом оценки часто являются неэффективными.

Содержание слайда: 7.3.2. Метод максимума правдоподобия Метод максимального правдоподобия точечной оценки неизвестных параметров распределения сводится к отысканию максимума функции одного или нескольких оцениваемых параметров. Пусть X– непрерывная случайная величина, которая в результате n испытаний приняла значения x1, x2, … xn.

Содержание слайда: Для получения оценки неизвестного параметра необходимо найти такое значение , при котором вероятность реализации полученной выборки была бы максимальной. Так как x1, x2, … xn представляют собой взаимно независимые величины с одинаковой плотностью вероятности f(x), то функцией правдоподобия называют функцию аргумента : Для получения оценки неизвестного параметра необходимо найти такое значение , при котором вероятность реализации полученной выборки была бы максимальной. Так как x1, x2, … xn представляют собой взаимно независимые величины с одинаковой плотностью вероятности f(x), то функцией правдоподобия называют функцию аргумента : .

Содержание слайда: Оценкой максимального правдоподобия параметра называется такое значение , при котором функция правдоподобия достигает максимума, т. е. является решением уравнения Оценкой максимального правдоподобия параметра называется такое значение , при котором функция правдоподобия достигает максимума, т. е. является решением уравнения , которое явно зависит от результатов испытаний x1, x2, … xn .

Содержание слайда: Поскольку функции и достигают максимума при одних и тех же значениях , то часто для упрощения расчетов используют логарифмическую функцию правдоподобия и ищут корень соответствующего уравнения Поскольку функции и достигают максимума при одних и тех же значениях , то часто для упрощения расчетов используют логарифмическую функцию правдоподобия и ищут корень соответствующего уравнения , которое называется уравнением правдоподобия.

Содержание слайда: Если необходимо оценить несколько параметров распределения , то функция правдоподобия будет зависеть от этих параметров. Для нахождения оценок параметров распределения необходимо решить систему k уравнений правдоподобия Если необходимо оценить несколько параметров распределения , то функция правдоподобия будет зависеть от этих параметров. Для нахождения оценок параметров распределения необходимо решить систему k уравнений правдоподобия .

Содержание слайда: Метод максимального правдоподобия дает состоятельные и асимптотически эффективные оценки. Однако получаемые методом максимального правдоподобия оценки бывают смещенными, и, кроме того, для нахождения оценок часто приходится решать достаточно сложные системы уравнений. Метод максимального правдоподобия дает состоятельные и асимптотически эффективные оценки. Однако получаемые методом максимального правдоподобия оценки бывают смещенными, и, кроме того, для нахождения оценок часто приходится решать достаточно сложные системы уравнений.