Выборочная плотность распределения в excel

Даны определения Функции распределения случайной величины и Плотности вероятности непрерывной случайной величины. Эти понятия активно используются в статьях о статистике сайта

. Рассмотрены примеры вычисления Функции распределения и Плотности вероятности с помощью функций MS EXCEL

.

Введем базовые понятия статистики, без которых невозможно объяснить более сложные понятия.

Генеральная совокупность и случайная величина

Пусть у нас имеется

генеральная совокупность

(population) из N объектов, каждому из которых присуще определенное значение некоторой числовой характеристики Х.

Примером генеральной совокупности (ГС) может служить совокупность весов однотипных деталей, которые производятся станком.

Поскольку в математической статистике, любой вывод делается только на основании характеристики Х (абстрагируясь от самих объектов), то с этой точки зрения

генеральная совокупность

представляет собой N чисел, среди которых, в общем случае, могут быть и одинаковые.

В нашем примере, ГС — это просто числовой массив значений весов деталей. Х – вес одной из деталей.

Если из заданной ГС мы выбираем случайным образом один объект, имеющей характеристику Х, то величина Х является

случайной величиной

. По определению, любая

случайная величина

имеет

функцию распределения

, которая обычно обозначается F(x).

Функция распределения

Функцией распределения

вероятностей

случайной величины

Х называют функцию F(x), значение которой в точке х равно вероятности события X

F(x) = P(X

Поясним на примере нашего станка. Хотя предполагается, что наш станок производит только один тип деталей, но, очевидно, что вес изготовленных деталей будет слегка отличаться друг от друга. Это возможно из-за того, что при изготовлении мог быть использован разный материал, а условия обработки также могли слегка различаться и пр. Пусть самая тяжелая деталь, произведенная станком, весит 200 г, а самая легкая — 190 г. Вероятность того, что случайно выбранная деталь Х будет весить меньше 200 г равна 1. Вероятность того, что будет весить меньше 190 г равна 0. Промежуточные значения определяются формой Функции распределения. Например, если процесс настроен на изготовление деталей весом 195 г, то разумно предположить, что вероятность выбрать деталь легче 195 г равна 0,5.

Типичный график

Функции распределения

для непрерывной случайной величины приведен на картинке ниже (фиолетовая кривая, см.

файл примера

):

В справке MS EXCEL

Функцию распределения

называют

Интегральной

функцией распределения

(

Cumulative

Distribution

Function

,

CDF

).

Приведем некоторые свойства

Функции распределения:

• 
  Функция распределения
  
  F(x) изменяется в интервале [0;1], т.к. ее значения равны вероятностям соответствующих событий (по определению вероятность может быть в пределах от 0 до 1);
• 
  Функция распределения
  
  – неубывающая функция;
• Вероятность того, что случайная величина приняла значение из некоторого диапазона [x1;x2): P(x
  
  ₁
  <=X
  2

  )=F(x
  
  ₂
  
  )-F(x
  
  ₁
  
  ).

Существует 2 типа распределений:

непрерывные распределения

и

дискретные распределения

.

Дискретные распределения

Если случайная величина может принимать только определенные значения и количество таких значений конечно, то соответствующее распределение называется

дискретным

. Например, при бросании монеты, имеется только 2 элементарных исхода, и, соответственно, случайная величина может принимать только 2 значения. Например, 0 (выпала решка) и 1 (не выпала решка) (см.

схему Бернулли

). Если монета симметричная, то вероятность каждого исхода равна 1/2. При бросании кубика случайная величина принимает значения от 1 до 6. Вероятность каждого исхода равна 1/6. Сумма вероятностей всех возможных значений случайной величины равна 1.

Примечание

: В MS EXCEL имеется несколько функций, позволяющих вычислить вероятности дискретных случайных величин. Перечень этих функций приведен в статье

Распределения случайной величины в MS EXCEL

.

Непрерывные распределения и плотность вероятности

В случае

непрерывного распределения

случайная величина может принимать любые значения из интервала, в котором она определена. Т.к. количество таких значений бесконечно велико, то мы не можем, как в случае дискретной величины, сопоставить каждому значению случайной величины ненулевую вероятность (т.е. вероятность попадания в любую точку (заданную до опыта) для

непрерывной случайной величины

равна нулю). Т.к. в противном случае сумма вероятностей всех возможных значений случайной величины будет равна бесконечности, а не 1. Выходом из этой ситуации является введение так называемой

функции плотности распределения p(x)

. Чтобы найти вероятность того, что непрерывная случайная величина Х примет значение, заключенное в интервале (а; b), необходимо найти приращение

функции распределения

на этом интервале:

Как видно из формулы выше

плотность распределения

р(х) представляет собой производную

функции распределения

F(x), т.е. р(х) = F’(x).

Типичный график

функции плотности распределения

для непрерывной случайно величины приведен на картинке ниже (зеленая кривая):

Примечание

: В MS EXCEL имеется несколько функций, позволяющих вычислить вероятности непрерывных случайных величин. Перечень этих функций приведен в статье

Распределения случайной величины в MS EXCEL

.

В литературе

Функция плотности распределения

непрерывной случайной величины может называться:

Плотность вероятности, Плотность распределения, англ. Probability Density Function (PDF)

.

Чтобы все усложнить, термин

Распределение

(в литературе на английском языке —

Probability

Distribution

Function

или просто

Distribution

)

в зависимости от контекста может относиться как

Интегральной

функции распределения,

так и кее

Плотности распределения.

Из определения

функции плотности распределения

следует, что p(х)>=0. Следовательно, плотность вероятности для непрерывной величины может быть, в отличие от

Функции распределения,

больше 1. Например, для

непрерывной равномерной величины

, распределенной на интервале [0; 0,5]

плотность вероятности

равна 1/(0,5-0)=2. А для

экспоненциального распределения

с параметром

лямбда

=5, значение

плотности вероятности

в точке х=0,05 равно 3,894. Но, при этом можно убедиться, что вероятность на любом интервале будет, как обычно, от 0 до 1.

Напомним, что

плотность распределения

является производной от

функции распределения

, т.е. «скоростью» ее изменения: p(x)=(F(x2)-F(x1))/Dx при Dx стремящемся к 0, где Dx=x2-x1. Т.е. тот факт, что

плотность распределения

>1 означает лишь, что функция распределения растет достаточно быстро (это очевидно на примере

экспоненциального распределения

).

Примечание

: Площадь, целиком заключенная под всей кривой, изображающей

плотность распределения

, равна 1.

Примечание

: Напомним, что функцию распределения F(x) называют в функциях MS EXCEL

интегральной функцией распределения

. Этот термин присутствует в параметрах функций, например в

НОРМ.РАСП

(x; среднее; стандартное_откл;

интегральная

). Если функция MS EXCEL должна вернуть

Функцию распределения,

то параметр

интегральная

, д.б. установлен ИСТИНА. Если требуется вычислить

плотность вероятности

, то параметр

интегральная

, д.б. ЛОЖЬ.

Примечание

: Для

дискретного распределения

вероятность случайной величине принять некое значение также часто называется плотностью вероятности (англ. probability mass function (pmf)). В справке MS EXCEL

плотность вероятности

может называть даже «функция вероятностной меры» (см. функцию

БИНОМ.РАСП()

).

Вычисление плотности вероятности с использованием функций MS EXCEL

Понятно, что чтобы вычислить

плотность вероятности

для определенного значения случайной величины, нужно знать ее распределение.

Найдем

плотность вероятности

для

стандартного нормального распределения

N(0;1) при x=2. Для этого необходимо записать формулу

=НОРМ.СТ.РАСП(2;ЛОЖЬ)

=0,054 или

=НОРМ.РАСП(2;0;1;ЛОЖЬ)

.

Напомним, что

вероятность

того, что

непрерывная случайная величина

примет конкретное значение x равна 0. Для

непрерывной случайной величины

Х можно вычислить только вероятность события, что Х примет значение, заключенное в интервале (а; b).

Вычисление вероятностей с использованием функций MS EXCEL

1) Найдем вероятность, что случайная величина, распределенная по

стандартному нормальному распределению

(см. картинку выше), приняла положительное значение. Согласно свойству

Функции распределения

вероятность равна F(+∞)-F(0)=1-0,5=0,5.

В MS EXCEL для нахождения этой вероятности используйте формулу

=НОРМ.СТ.РАСП(9,999E+307;ИСТИНА) -НОРМ.СТ.РАСП(0;ИСТИНА)

=1-0,5. Вместо +∞ в формулу введено значение 9,999E+307= 9,999*10^307, которое является максимальным числом, которое можно ввести в ячейку MS EXCEL (так сказать, наиболее близкое к +∞).

2) Найдем вероятность, что случайная величина, распределенная по

стандартному нормальному распределению

, приняла отрицательное значение. Согласно определения

Функции распределения,

вероятность равна F(0)=0,5.

В MS EXCEL для нахождения этой вероятности используйте формулу

=НОРМ.СТ.РАСП(0;ИСТИНА)

=0,5.

3) Найдем вероятность того, что случайная величина, распределенная по

стандартному нормальному распределению

, примет значение, заключенное в интервале (0; 1). Вероятность равна F(1)-F(0), т.е. из вероятности выбрать Х из интервала (-∞;1) нужно вычесть вероятность выбрать Х из интервала (-∞;0). В MS EXCEL используйте формулу

=НОРМ.СТ.РАСП(1;ИСТИНА) — НОРМ.СТ.РАСП(0;ИСТИНА)

.

Все расчеты, приведенные выше, относятся к случайной величине, распределенной по

стандартному нормальному закону

N(0;1). Понятно, что значения вероятностей зависят от конкретного распределения. В статье

Распределения случайной величины в MS EXCEL

приведены распределения, для которых в MS EXCEL имеются соответствующие функции, позволяющие вычислить вероятности.

Обратная функция распределения (Inverse Distribution Function)

Вспомним задачу из предыдущего раздела:

Найдем вероятность, что случайная величина, распределенная по стандартному нормальному распределению, приняла отрицательное значение.

Вероятность этого события равна 0,5.

Теперь решим обратную задачу: определим х, для которого вероятность, того что случайная величина Х примет значение
медиану

или 50-ю

процентиль

).

Для этого необходимо на графике

функции распределения

найти точку, для которой F(х)=0,5, а затем найти абсциссу этой точки. Абсцисса точки =0, т.е. вероятность, того что случайная величина Х примет значение <0, равна 0,5.

В MS EXCEL используйте формулу

=НОРМ.СТ.ОБР(0,5)

=0.

Однозначно вычислить значение

случайной величины

позволяет свойство монотонности

функции распределения.

Обратите внимание, что для вычисления обратной функции мы использовали именно

функцию распределения

, а не

плотность распределения

. Поэтому, в аргументах функции

НОРМ.СТ.ОБР()

отсутствует параметр

интегральная

, который подразумевается. Подробнее про функцию

НОРМ.СТ.ОБР()

см. статью про

нормальное распределение

.

Обратная функция распределения

вычисляет

квантили распределения

, которые используются, например, при

построении доверительных интервалов

. Т.е. в нашем случае число 0 является 0,5-квантилем

нормального распределения

. В

файле примера

можно вычислить и другой

квантиль

этого распределения. Например, 0,8-квантиль равен 0,84.

В англоязычной литературе

обратная функция распределения

часто называется как Percent Point Function (PPF).

Примечание

: При вычислении

квантилей

в MS EXCEL используются функции:

НОРМ.СТ.ОБР()

,

ЛОГНОРМ.ОБР()

,

ХИ2.ОБР(),

ГАММА.ОБР()

и т.д. Подробнее о распределениях, представленных в MS EXCEL, можно прочитать в статье

Распределения случайной величины в MS EXCEL

.

Рассмотренные в лабораторной работе 2 распределения вероятностей СВ
опираются на знание закона распределения СВ. Для практических задач такое
знание – редкость. Здесь закон распределения обычно неизвестен, или известен с
точностью до некоторых неиз­вестных параметров. В частности, невозможно
рассчитать точное значение соот­ветствующих вероятностей, так как нельзя
определить количество общих и благо­приятных исходов. Поэтому вводится статистическое
определение вероятности. По этому определению вероятность равна отношению
числа испытаний, в ко­торых событие произошло, к общему числу произведенных
испытаний. Такая вероятность называется статистической частотой.

Связь
между эмпирической функцией распределения и функцией распределения
(теоретической функцией распределения) такая же, как связь между частотой со­бытия
и его вероятностью.

Для
построения выборочной функции распределения весь диапазон изменения случайной
величины X (выборки)
разбивают на ряд интервалов (карманов) одинаковой ширины. Число интервалов
обычно выбирают не менее 3 и не более 15. Затем определяют число значений
случайной величины X, попавших
в каждый интервал (абсолютная частота, частота интервалов). 

Частота интервалов – число, показывающее сколько раз значения,
относящиеся к каждому интервалу группировки, встречаются в выборке. Поделив эти
чис­ла на общее количество наблюдений (n), находят относительную частоту (частость) попадания
случайной величины X в заданные
интервалы.

По
найденным относительным час­тотам строят гистограммы выборочных функций
распределения. Гистограмма распределения частот – это графическое
представление выборки, где по оси абсцисс (ОХ) отложены величины интервалов, а
по оси ординат (ОУ) – величины частот, попадающих в данный классовый интервал.
При увеличении до бесконечности размера выборки выборочные функции
распределения превращаются в теоретические: гистограмма превращается в график
плотности распределения.

Накопленная частота интервалов – это число, полученное
последовательным суммированием частот в направлении от первого интервала к
последнему, до того  интервала
включительно, для которого определяется накопленная частота.

В Excel для построения выборочных функций распределения
используются спе­циальная функция ЧАСТОТА
и процедура Гистограмма из пакета анализа.

Функция ЧАСТОТА (массив_данных,
двоичный_массив) вычисляет частоты появления случайной величины в интер­валах
значений и выводит их как массив цифр, где

•     
массив_данных
— это массив или ссылка на
множество данных, для которых
вычисляются частоты;

•     
двоичный_массив
— это массив интервалов, по
ко­торым группируются значения выборки.

Процедура
Гистограмма из Пакета анализа выводит
результаты выборочного распределения в виде таблицы и графика. Параметры диалогового окна Гистограмма:

•     
Входной диапазон — диапазон исследуемых данных
(выборка);

•     
Интервал карманов — диа­пазон ячеек или набор граничных
значений, определяющих выбранные интервалы (карманы). Эти значения должны быть
введены в воз­растающем порядке. Если
диапазон карманов не был введен, то набор интерва­лов, равномерно распределенных между минимальным и
максимальным зна­чениями данных, будет создан
автоматически.

•     
выходной диапазон предназначен для ввода ссылки на левую верхнюю ячейку выходного диапазона.

•     
переключатель
Интегральный процент позволяет установить режим включения в
гистограмму гра­фика интегральных
процентов.

•     
переключатель
Вывод графика позволяет установить режим автоматическо­го создания встроенной диаграммы на листе, содержащем
выходной диапа­зон.

Пример 1. Построить эмпирическое распределение веса
студентов в килограм­мах для следующей
выборки: 64, 57, 63, 62, 58, 61, 63, 70, 60, 61, 65, 62, 62, 40, 64, 61, 59, 59, 63, 61.

Решение

1.  В ячейку А1 введите слово Наблюдения,
а в диапазон А2:А21 — значения веса
студентов (см. рис. 1).

2.        
В
ячейку В1 введите названия интервалов Вес, кг. В диапазон В2:В8 введите
граничные значения ин­тервалов (40, 45,
50, 55, 60, 65, 70).

3.        
Введите
заголовки создаваемой таблицы: в ячейки С1 — Абсолютные час­тоты, в ячейки D1 — Относительные
частоты, в ячейки E1 — Накоплен­ные частоты.(см. рис. 1).

4.        
С
помощью функции Частота заполните столбец абсолютных частот, для этого
выделите блок ячеек С2:С8. С
па­нели инструментов Стандартная
вызовите Мастер функций (кнопка fx). В появив­шемся диалоговом окне
выберите категорию Статистические и функцию
ЧАСТОТА, после чего нажмите кнопку ОК. Указателем мыши в рабочее поле Массив_данных
введите диапазон данных наблюдений (А2:А8). В рабочее поле Двоичный_массив
мышью введите диапазон интервалов (В2:В8). Слева на клавиатуре последовательно нажмите комбинацию клавиш Ctrl+Shift+Enter. В столбце C должен появиться мас­сив абсолютных частот (см. рис.1).

5.        
В
ячейке C9 найдите общее количество
наблюдений. Активизируйте ячейку С9, на
панели инструментов Стандартная нажмите кнопку Ав­тосумма.
Убедитесь, что диапазон суммирования указан правильно и нажмите клавишу Enter.

6.        
Заполните столбец относительных частот. В ячейку введите формулу
для вычисления относительной частоты: =C2/$C$9.
Нажмите клавишу Enter. Протягиванием (за правый
нижний угол при нажатой левой кнопке мыши) скопируйте введенную формулу в диапазон и получите массив относительных частот.

7.        
Заполните
столбец накопленных частот. В ячейку D2 скопируйте значение от­носительной
частоты из ячейки E2. В ячейку D3 введите формулу: =E2+D3. Нажмите клавишу Enter. Протягиванием (за правый нижний угол при нажатой левой кнопке мыши) скопируйте введенную формулу
в диапазон D3:D8. Получим массив накопленных
частот.

                     Рис. 1. Результат вычислений из
примера 1

8.   
Постройте диаграмму относительных и накопленных частот. Щелчком ука­зателя
мыши по кнопке на панели инструментов вызовите Мастер диаграмм. В появившемся диалоговом окне выберите закладку Нестандартные
и тип диаг­раммы График/гистограмма. После 
редактирования диаграмма будет иметь такой вид, как на рис. 2.

Рис. 2
Диаграмма относительных и накопленных частот из примера 1

Задания для самостоятельной работы

1. Для данных из примера 1 построить выборочные функции распределения, воспользовавшись процедурой Гистограмма из пакета Анализа.

2.  Построить выборочные функции распределения
(относительные и накопленные частоты) для роста
в см. 20 студентов: 181, 169, 178, 178, 171, 179, 172, 181, 179, 168, 174, 167, 169, 171, 179, 181, 181,
183, 172, 176.

3. Найдите распределение по абсолютным частотам для
следующих результатов тестирования в
баллах: 79, 85, 78, 85, 83, 81, 95, 88, 97, 85 (используйте границы интервалов 70, 80, 90).

4. Рассмотрим любой из критериев оценки качеств педагога-профессионала,
например, «успешное решение задач обучения и воспитания». Ответ на этот вопрос
анкеты типа «да», «нет» достаточно груб. Чтобы уменьшить относительную ошибку
такого измерения, необходимо увеличить число возможных ответов на конкретный
критериальный вопрос. В табл. 1 представлены возможные варианты ответов.

Обозначим 
этот параметр через х. Тогда в процессе ответа на вопрос величина х
примет дискретное значение х, принадлежащее определенному интервалу значений.
Поставим в соответствие каждому из ответов определенное числовое значение
параметра х (см. табл. 1).

Табл. 1 Критериальный вопрос: успешное решение задач обучения и воспитания

При проведении анкетирования в каждой отдельной
анкете параметр х принимает случайное значение, но только в пределах числового
интервала от 0,1 до 1.

Тогда в результате измерений мы получаем
неранжированный ряд случайных значений (см. табл. 2).

Таблица 2.
Результаты опроса ста учителей

Сгруппируйте полученную выборку, рассчитайте среднее
значение выборки, стандартное отклонение, абсолютную и относительную частоту
появления параметра, а также постройте график плотности вероятности f(x)=

где

W(x) – относительная частота наступления события;

          — стандартное
отклонение;

          =3,14.

Постройте график функции f(x) и сравните его с
нормальным распределением Гаусса.

Функция ФИ в Excel предназначена для определения значения плотности вероятности величины, описанной законом стандартного нормального распределения, и возвращает соответствующее число.

Значения функции плотности стандартного нормального распределения в Excel

Если случайная величина распределена непрерывно, она может иметь любое значение, взятое из интервала, в котором она определена. Такое число значений стремится к бесконечности, следовательно, вероятность попадания в какую-либо определенную точку из данного интервала стремится к нулю (сумма вероятностей должна соответствовать числу 1). Поэтому, является возможным только определение вероятности нахождения некоторой величины в заданном интервале значений. С этой целью было введено понятие плотности вероятности – производная функции распределения. Для вычисления вероятности определяют площадь, образованную кривой графика, осью абсцисс и двумя вертикальными линиями, проведенными от точек, соответствующих граничным значениям исследуемого интервала.

Рассматриваемая функции вычисляет то же значение, которое возвращает функция НОРМ.СТ.РАСП, у которой второй аргумент принимает значение ЛОЖЬ.

Пример 1. Построить график плотности вероятности для известных значений x, которые внесены в таблицу Excel.

Вид таблицы данных:

Для построения графика определим значения плотности для известных значений x. Используем формулу, предварительно выделив ячейки в диапазоне B2:B22:

=ФИ(A2)

Полученные значения:

Используем полученные данные для построения графика:

Значение плотности вероятности имеет смысл при определении вероятности нахождения величины в некотором диапазоне. Ее используют для вычисления интеграла с указанными граничными значениями некоторой величины, в результате чего получают вероятность нахождения некоторого значения в диапазоне, заданного этими граничными значениями.

В Excel функция плотности используется преимущественно для построения графиков. Вероятность определяется функцией НОРМ.СТ.РАСП (для стандартного нормального распределение) с последним аргументом, принимающим значение ИСТИНА.



Пример расчета плотности стандартного нормального распределения в Excel

Пример 2. Определить максимальное значение плотности вероятности для ряда значений двумя различными способами.

Вид таблицы данных:

Максимальное значение плотности вероятности для некоторой величины, распределенной по стандартному нормальному закону, можно определить с помощью функции МАКС, исследуя массив значений, возвращаемых функцией ФИ в формуле массива CTRL+SHIFT+Enter:

=МАКС(ФИ(A2:A9))

Полученный результат:

Другой способ – нахождение значения плотности для среднего значения известных величин. Однако, для начала необходимо стандартизировать имеющийся ряд значений с помощью функции НОРМАЛИЗАЦИЯ. Для нахождения используем формулу (вводить как формулу массива CTRL+SHIFT+Enter):

Полученное значение:

Небольшая разница в полученных значениях свидетельствует о том, что исследуемый ряд значений можно рассматривать как нормальное стандартное распределение некоторой величины.

Правила использования функции ФИ в Excel

Функция ФИ имеет следующую синтаксическую запись:

=ФИ(x)

• x – обязательный, принимает число для некоторой величины, распределенной по стандартному нормальному закону, для которой необходимо определить значение плотности распределения.

Примечания:

1. В качестве аргумента функции можно передавать ссылку на ячейку с числовыми данными или само число. Функция ФИ автоматические преобразует логические значения и текстовые строки, содержащие числа, к числовым значениям.
2. Если аргумент функции принимает данные, не преобразуемые к числовым значениям, результатом выполнения ФИ будет код ошибки #ЗНАЧ!
3. Для больших значений, значение плотности вероятности которых стремится к нулю, функция возвращает число 0. Например, =ФИ(100) вернет число 0.

Интервальный вариационный ряд и его характеристики

Интервальный вариационный ряд – это ряд распределения, в котором однородные группы составлены по признаку, меняющемуся непрерывно или принимающему слишком много значений.

Здесь k — число интервалов, на которые разбивается ряд.

Размах вариации – это длина интервала, в пределах которой изменяется исследуемый признак: $ F=x_-x_ $

Правило Стерджеса
Эмпирическое правило определения оптимального количества интервалов k, на которые следует разбить ряд из N чисел: $ k=1+lfloorlog_2 Nrfloor $ или, через десятичный логарифм: $ k=1+lfloor 3,322cdotlg Nrfloor $

Скобка (lfloor rfloor) означает целую часть (округление вниз до целого числа).

Скобка (lceil rceil) означает округление вверх, в данном случае не обязательно до целого числа.

Заметим, что поскольку шаг h находится с округлением вверх, последний узел (a_kgeq x_).

Частота интервалов – число, показывающее сколько раз значения, относящиеся к каждому интервалу группировки, встречаются в выборке. Поделив эти числа на общее количество наблюдений (n), находят относительную частоту (частость) попадания случайной величины X в заданные интервалы.

Эмпирические распределения — Мегаобучалка

Существует также теоретическая функция распределения (функция распределения генеральной совокупности). Ее отличие от выборочной функции распределения состоит в определении объективной возможности или вероятности события X