Доверительный интервал пришел к нам из области статистики. Это определенный диапазон, который служит для оценки неизвестного параметра с высокой степенью надежности. Проще всего это будет пояснить на примере.

Предположим, нужно исследовать какую-либо случайную величину, например, скорость отклика сервера на запрос клиента. Каждый раз, когда пользователь набирает адрес конкретного сайта, сервер реагирует на это с разной скоростью. Таким образом, исследуемое время отклика имеет случайный характер. Так вот, доверительный интервал позволяет определить границы этого параметра, и затем можно будет утверждать, что с вероятностью в 95% сервера будет находиться в рассчитанном нами диапазоне.

Или же нужно узнать, какому количеству людей известно о торговой марке фирмы. Когда будет подсчитан доверительный интервал, то можно будет, к примеру, сказать что с 95% долей вероятности доля потребителей, знающих о данной находится в диапазоне от 27% до 34%.

С этим термином тесно связана такая величина, как доверительная вероятность. Она представляет собой вероятность того, что искомый параметр входит в доверительный интервал. От этой величины зависит то, насколько большим окажется наш искомый диапазон. Чем большее значение она принимает, тем уже становится доверительный интервал, и наоборот. Обычно ее устанавливают равной 90%, 95% или 99%. Величина 95% наиболее популярна.

На данный показатель также оказывает влияние дисперсия наблюдений и Его определение основано на том предположении, что исследуемый признак подчиняется Это утверждение известно также как Закон Гаусса. Согласно ему, нормальным называется такое распределение всех вероятностей непрерывной случайной величины, которое можно описать плотностью вероятностей. Если предположение о нормальном распределении оказалось ошибочным, то оценка может оказаться неверной.

Сначала разберемся с тем, как вычислить доверительный интервал для Здесь возможны два случая. Дисперсия (степень разброса случайной величины) может быть известна либо нет. Если она известна, то наш доверительный интервал вычисляется с помощью следующей формулы:

хср - t*σ / (sqrt(n)) <= α <= хср + t*σ / (sqrt(n)), где

α - признак,

t - параметр из таблицы распределения Лапласа,

σ - квадратный корень дисперсии.

Если дисперсия неизвестна, то ее можно рассчитать, если нам известны все значения искомого признака. Для этого используется следующая формула:

σ2 = х2ср - (хср)2, где

х2ср - среднее значение квадратов исследуемого признака,

(хср)2 - квадрат данного признака.

Формула, по которой в этом случае рассчитывается доверительный интервал немного меняется:

хср - t*s / (sqrt(n)) <= α <= хср + t*s / (sqrt(n)), где

хср - выборочное среднее,

α - признак,

t - параметр, который находят с помощью таблицы распределения Стьюдента t = t(ɣ;n-1),

sqrt(n) - квадратный корень общего объема выборки,

s - квадратный корень дисперсии.

Рассмотри такой пример. Предположим, что по результатам 7 замеров была определена исследуемого признака, равная 30 и дисперсия выборки, равная 36. Нужно найти с вероятностью в 99% доверительный интервал, который содержит истинное значение измеряемого параметра.

Вначале определим чему равно t: t = t (0,99; 7-1) = 3.71. Используем приведенную выше формулу, получаем:

хср - t*s / (sqrt(n)) <= α <= хср + t*s / (sqrt(n))

30 - 3.71*36 / (sqrt(7)) <= α <= 30 + 3.71*36 / (sqrt(7))

21.587 <= α <= 38.413

Доверительный интервал для дисперсии рассчитывается как в случае с известным средним, так и тогда, когда нет никаких данных о математическом ожидании, а известно лишь значение точечной несмещенной оценки дисперсии. Мы не будем приводить здесь формулы его расчета, так как они довольно сложные и при желании их всегда можно найти в сети.

Отметим лишь, что доверительный интервал удобно определять с помощью программы Excel или сетевого сервиса, который так и называется.

Часто оценщику приходится анализировать рынок недвижимости того сегмента, в котором располагается объект оценки. Если рынок развит, проанализировать всю совокупность представленных объектов бывает сложно, поэтому для анализа используется выборка объектов. Не всегда эта выборка получается однородной, иногда требуется очистить ее от экстремумов - слишком высоких или слишком низких предложений рынка. Для этой цели применяется доверительный интервал . Цель данного исследования - провести сравнительный анализ двух способов расчета доверительного интервала и выбрать оптимальный вариант расчета при работе с разными выборками в системе estimatica.pro.

Доверительный интервал - вычисленный на основе выборки интервал значений признака, который с известной вероятностью содержит оцениваемый параметр генеральной совокупности.

Смысл вычисления доверительного интервала заключается в построении по данным выборки такого интервала, чтобы можно было утверждать с заданной вероятностью, что значение оцениваемого параметра находится в этом интервале. Другими словами, доверительный интервал с определенной вероятностью содержит неизвестное значение оцениваемой величины. Чем шире интервал, тем выше неточность.

Существуют разные методы определения доверительного интервала. В этой статье рассмотрим 2 способа:

• через медиану и среднеквадратическое отклонение;
• через критическое значение t-статистики (коэффициент Стьюдента).

Этапы сравнительного анализа разных способов расчета ДИ:

1. формируем выборку данных;

2. обрабатываем ее статистическими методами: рассчитываем среднее значение, медиану, дисперсию и т.д.;

3. рассчитываем доверительный интервал двумя способами;

4. анализируем очищенные выборки и полученные доверительные интервалы.

Этап 1. Выборка данных

Выборка сформирована с помощью системы estimatica.pro. В выборку вошло 91 предложение о продаже 1 комнатных квартир в 3-ем ценовом поясе с типом планировки «Хрущевка».

Таблица 1. Исходная выборка

Рис.1. Исходная выборка

Этап 2. Обработка исходной выборки

Обработка выборки методами статистики требует вычисления следующих значений:

1. Среднее арифметическое значение

2. Медиана - число, характеризующее выборку: ровно половина элементов выборки больше медианы, другая половина меньше медианы

(для выборки, имеющей нечетное число значений)

3. Размах - разница между максимальным и минимальным значениями в выборке

4. Дисперсия - используется для более точного оценивания вариации данных

5. Среднеквадратическое отклонение по выборке (далее - СКО) - наиболее распространённый показатель рассеивания значений корректировок вокруг среднего арифметического значения.

6. Коэффициент вариации - отражает степень разбросанности значений корректировок

7. коэффициент осцилляции - отражает относительное колебание крайних значений цен в выборке вокруг средней

Таблица 2. Статистические показатели исходной выборки

Коэффициент вариации, который характеризует однородность данных, составляет 12,29%, однако коэффициент осцилляции слишком велик. Таким образом, мы можем утверждать, что исходная выборка не является однородной, поэтому перейдем к расчету доверительного интервала.

Этап 3. Расчёт доверительного интервала

Способ 1. Расчёт через медиану и среднеквадратическое отклонение.

Доверительный интервал определяется следующим образом: минимальное значение - из медианы вычитается СКО; максимальное значение - к медиане прибавляется СКО.

Таким образом, доверительный интервал (47179 д.е.; 60689 д.е.)

Рис. 2. Значения, попавшие в доверительный интервал 1.

Способ 2. Построение доверительного интервала через критическое значение t-статистики (коэффициент Стьюдента)

С.В. Грибовский в книге «Математические методы оценки стоимости имущества» описывает способ вычисления доверительного интервала через коэффициент Стьюдента. При расчете этим методом оценщик должен сам задать уровень значимости ∝, определяющий вероятность, с которой будет построен доверительный интервал. Обычно используются уровни значимости 0,1; 0,05 и 0,01. Им соответствуют доверительные вероятности 0,9; 0,95 и 0,99. При таком методе полагают истинные значения математического ожидания и дисперсии практически неизвестными (что почти всегда верно при решении практических задач оценки).

Формула доверительного интервала:

n - объем выборки;

Критическое значение t- статистики (распределения Стьюдента) с уровнем значимости ∝,числом степеней свободы n-1,которое определяется по специальным статистическим таблицам либо с помощью MS Excel ( →"Статистические"→ СТЬЮДРАСПОБР);

∝ - уровень значимости, принимаем ∝=0,01.

Рис. 2. Значения, попавшие в доверительный интервал 2.

Этап 4. Анализ разных способов расчета доверительного интервала

Два способа расчета доверительного интервала - через медиану и коэффициент Стьюдента - привели к разным значениям интервалов. Соответственно, получилось две различные очищенные выборки.

Таблица 3. Статистические показатели по трем выборкам.

На основании выполненных расчетов можно сказать, что полученные разными методами значения доверительных интервалов пересекаются, поэтому можно использовать любой из способов расчета на усмотрение оценщика.

Однако мы считаем, что при работе в системе estimatica.pro целесообразно выбирать метод расчета доверительного интервала в зависимости от степени развитости рынка:

• если рынок неразвит, применять метод расчета через медиану и среднеквадратическое отклонение, так как количество выбывших объектов в этом случае невелико;
• если рынок развит, применять расчет через критическое значение t-статистики (коэффициент Стьюдента), так как есть возможность сформировать большую исходную выборку.

При подготовке статьи были использованы:

1. Грибовский С.В., Сивец С.А., Левыкина И.А. Математические методы оценки стоимости имущества. Москва, 2014 г.

2. Данные системы estimatica.pro

Оценка доверительных интервалов

Статистика рассматривает следующие две основные задачи :

У нас есть некоторая оценка, построенная на выборочных данных, и мы хотим сделать некоторое вероятностное утверждение относительно того, где находится истинное значение оцениваемого параметра.

У нас есть конкретная гипотеза, которую необходимо проверить на основе выборочных данных.

В данной теме мы рассматриваем первую задачу. Введем также определение доверительного интервала.

Изучив материал данной темы, Вы:

узнаете, что такое доверительный интервал оценки;

научитесь классифицировать статистические задачи;

освоите технику построения доверительных интервалов, как по статистическим формулам, так и с помощью программного инструментария;

научитесь определять необходимые размеры выборок для достижения определенных параметров точности статистических оценок.

Распределения выборочных характеристик

Как обсуждали выше распределение случайной величины близко к стандартизованному нормальному распределению с параметрами 0 и 1. Поскольку нам не известна величина σ, мы заменяем ее на некоторую оценку s . Величина уже имеет другое распределение, а именно или Распределение Стьюдента , которое определяется параметром n -1 (число степеней свободы). Это распределение близко к нормальному распределению (чем больше n , тем распределения ближе).

На рис. 95
представлено распределение Стьюдента с 30 степенями свободы. Как видно, оно весьма близко к нормальному распределению.

Аналогично функциям для работы с нормальным распределением НОРМРАСП и НОРМОБР имеются функции для работы с t-распределением - СТЬЮДРАСП (TDIST) и СТЬЮДРАСПОБР (TINV) . Пример использования этих функций можно посмотреть в файле СТЬЮДРАСП.XLS (шаблон и решение ) и на рис. 96
.

Как мы уже знаем, для определения точности оценивания математического ожидания нам необходимо t-распределение. Для оценивания других параметров, например, дисперсии, требуются другие распределения. Два из них - это F-распределение и x 2 -распределение .

Доверительный интервал для среднего значения

Доверительный интервал - это интервал, который строится вокруг оценочного значения параметра и показывает, где находится истинное значение оцениваемого параметра с априори заданной вероятностью.

Построение доверительного интервала для среднего значения происходит следующим образом :

Пример

В ресторане быстрого обслуживания планируется расширить ассортимент новым видом сэндвича. Для того чтобы оценить спрос на него, менеджер случайным образом планирует выбрать 40 посетителей из тех, кто уже попробовал его и предложить им оценить их отношение к новому продукту в баллах от 1 до 10. Менеджер хочет оценить ожидаемое количество баллов, которое получит новый продукт и построить 95%-й доверительный интервал этой оценки. Как это осуществить? (см. файл СЭНДВИЧ1.XLS (шаблон и решение ).

Решение

Для решения данной задачи можно воспользоваться . Результаты представлены на рис. 97
.

Доверительный интервал для суммарного значения

Иногда по выборочным данным требуется оценить не математическое ожидание, а общую сумму значений. Например, в ситуации с аудитором интерес может представлять оценка не средней величины счета, а суммы всех счетов.

Пусть N - общее количество элементов, n - размер выборки, T 3 - сумма значений в выборке, T" - оценка для суммы по всей совокупности, тогда , а доверительный интервал вычисляется по формуле , где s - оценка стандартного отклонения для выборки, - оценка среднего для выборки.

Пример

Допустим, некоторая налоговая служба хочет оценить размер суммарных налоговых возвратов для 10 000 налогоплательщиков. Налогоплательщик либо получает возврат, либо доплачивает налоги. Найдите 95%-й доверительный интервал для суммы возврата при условии, что размер выборки составляет 500 человек (см. файл СУММА ВОЗВРАТОВ.XLS (шаблон и решение ).

Решение

В StatPro нет специальной процедуры для этого случая, однако можно заметить, что границы можно получить из границ для среднего исходя из вышеприведенных формул (рис. 98
).

Доверительный интервал для пропорции

Пусть p - математическое ожидание доли клиентов, а р в - оценка этой доли, полученная по выборке размера n. Можно показать, что для достаточно больших распределение оценки будет близко к нормальному с математическим ожиданием p и стандартным отклонением . Стандартная ошибка оценки в данном случае выражается как , а доверительный интервал как .

Пример

В ресторане быстрого обслуживания планируется расширить ассортимент новым видом сэндвича. Для того чтобы оценить спрос на него, менеджер случайным образом выбрал 40 посетителей из тех, кто уже попробовал его и предложил им оценить их отношение к новому продукту в баллах от 1 до 10. Менеджер хочет оценить ожидаемую долю клиентов, которые оценивают новый продукт не менее чем в 6 баллов (он ожидает, что именно эти клиенты и будут потребителями нового продукта).

Решение

Первоначально создаем новый столбец по признаку 1, если оценка клиента была больше 6 баллов и 0 иначе (см. файл СЭНДВИЧ2.XLS (шаблон и решение ).

Способ 1

Подсчитывая количество 1, оцениваем долю, а далее используем формулы.

Значение z кр берется из специальных таблиц нормального распределения (например, 1,96 для 95%-го доверительного интервала).

Используя данный подход и конкретные данные для построения 95%-го интервала, получим следующие результаты (рис. 99
). Критическое значение параметра z кр равно 1,96. Стандартная ошибка оценки - 0,077. Нижняя граница доверительного интервала - 0,475. Верхняя граница доверительного интервала - 0,775. Таким образом, менеджер вправе полагать с 95%-й долей уверенности, что процент клиентов, оценивших новый продукт на 6 баллов и выше, будет между 47,5 и 77,5.

Способ 2

Данная задача допускает решение стандартными средствами StatPro . Для этого достаточно заметить, что доля в данном случае совпадает со средним значением столбца Тип . Далее применим StatPro/Statistical Inference/One-Sample Analysis для построения доверительного интервала среднего значения (оценки математического ожидания) для столбца Тип . Полученные в этом случае результат, будут весьма близок к результату 1-го способа (рис. 99).

Доверительный интервал для стандартного отклонения

В качестве оценки стандартного отклонения используется s (формула приведена в разделе 1). Функцией плотности распределения оценки s является функция хи-квадрат , которая, как и t-распределение, имеет n-1 степень свободы. Имеются специальные функции для работы с этим распределением ХИ2РАСП (CHIDIST) и ХИ2ОБР (CHIINV) .

Доверительный интервал в этом случае уже будет не симметричным. Условная схема границ представлена на рис. 100 .

Пример

Станок должен производить детали диаметром 10 см. Однако в силу различных обстоятельств происходят ошибки. Контролера по качеству волнуют два обстоятельства: во-первых, среднее значение должно равняться 10 см; во-вторых, даже в этом случае, если отклонения будут велики, то многие детали будут забракованы. Ежедневно он делает выборку из 50 деталей (см. файл КОНТРОЛЬ КАЧЕСТВА.XLS (шаблон и решение ). Какие выводы может дать такая выборка?

Решение

Построим 95%-й доверительные интервалы для среднего и для стандартного отклонения с помощью StatPro/Statistical Inference/ One-Sample Analysis (рис. 101
).

Далее, используя предположение о нормальном распределении диаметров, рассчитаем долю бракованных изделий, задавшись предельным отклонением 0,065. Используя возможности таблицы подстановки (случай двух параметров), построим зависимость доли брака от среднего значения и стандартного отклонения (рис. 102
).

Доверительный интервал для разности двух средних значений

Это одно из наиболее важных применений статистических методов. Примеры ситуаций.

Менеджер магазина одежды хотел бы знать, на сколько больше или меньше тратит в магазине средняя женщина-покупатель, чем мужчина.

Две авиакомпании летают аналогичными маршрутами. Организация-потребитель хотела бы сравнить разницу между среднеожидаемыми временами задержек рейсов по обеим авиакомпаниям.

Компания рассылает купоны на отдельные виды товаров в одном городе и не рассылает в другом. Менеджеры хотят сравнить средние объемы покупок этих товаров в ближайшие два месяца.

Автомобильный дилер часто имеет дело на презентациях с замужними парами. Чтобы понять их персональную реакцию на презентацию, пары часто опрашивают отдельно. Менеджер хочет оценить разницу в рейтингах указываемых мужчинами и женщинами.

Случай независимых выборок

Разность средних значений будет иметь t-распределение с n 1 + n 2 - 2 степенями свободы. Доверительный интервал для μ 1 - μ 2 выражается соотношением:

Данная задача допускает решение не только по вышеприведенным формулам, но и стандартными средствами StatPro . Для этого достаточно применить

Доверительный интервал для разности между пропорциями

Пусть - математическое ожидание долей. Пусть - их выборочные оценки, построенные по выборкам размера n 1 и n 2 соответственно. Тогда является оценкой для разности . Следовательно, доверительный интервал этой разности выражается как:

Здесь z кр является значением, полученным из нормального распределения по специальным таблицам (например, 1,96 для 95%-й доверительного интервала).

Стандартная ошибка оценки выражается в данном случае соотношением:

.

Пример

Магазин, готовясь к большой распродаже, предпринял следующие маркетинговые исследования. Были выбраны 300 лучших покупателей, которые в свою очередь были случайным образом поделены на две группы по 150 членов в каждой. Всем из отобранных покупателей были разосланы приглашения для участия в распродаже, но только для членов первой группы был приложен купон, дающий право на скидку 5%. В ходе распродажи покупки всех 300 отобранных покупателей фиксировались. Каким образом менеджер может интерпретировать полученные результаты и сделать заключение об эффективности предоставления купонов? (см. файл КУПОНЫ.XLS (шаблон и решение )).

Решение

Для нашего конкретного случая из 150 покупателей, получивших купон на скидку, 55 сделали покупку на распродаже, а среди 150, не получивших купон, покупку сделали только 35 (рис. 103
). Тогда значения выборочных пропорций соответственно 0,3667 и 0,2333. А выборочная разность между ними равна соответственно 0,1333. Полагая доверительный интервал 95%-м, находим по таблице нормального распределения z кр = 1,96. Вычисление стандартной ошибки выборочной разности равно 0,0524. Окончательно получаем, что нижняя граница 95%-го доверительного интервала равна 0,0307, а верхняя граница 0,2359 соответственно. Полученные результаты можно интерпретировать таким образом, что на каждых 100 покупателей, получивших купон со скидкой, можно ожидать от 3 до 23 новых покупателей. Однако надо иметь в виду, что этот вывод сам по себе еще не означает эффективности применения купонов (поскольку, предоставляя скидку, мы теряем в прибыли!). Продемонстрируем это на конкретных данных. Предположим, что средний размер покупки равен 400 руб., из которых 50 руб. есть прибыль магазина. Тогда ожидаемая прибыль на 100 покупателях, не получивших купон, равна:

50 0,2333 100 = 1166,50 руб.

Аналогичные вычисления для 100 покупателей получивших купон, дают:

30 0,3667 100 = 1100,10 руб.

Уменьшение средней прибыли до 30 объясняется тем, что, используя скидку, покупатели, получившие купон, в среднем будут делать покупку на 380 руб.

Таким образом, итоговый вывод говорит о неэффективности использования таких купонов в данной конкретной ситуации.

Замечание. Данная задача допускает решение стандартными средствами StatPro . Для этого достаточно свести данную задачу к задаче оценки разности двух средних способом, а далее применить StatPro/Statistical Inference/Two-Sample Analysis для построения доверительного интервала разности двух средних значений.

Управление длиной доверительного интервала

Длина доверительного интервала зависит от следующих условий :

непосредственно данных (стандартное отклонение);

уровня значимости;

размера выборки.

Размер выборки для оценки среднего значения

Сначала рассмотрим задачу в общем случае. Обозначим данное нам значение половины длины доверительного интервала за В (рис. 104
). Нам известно, что доверительный интервал для среднего значения некоторой случайной величины X выражается как , где . Полагая:

и выражая n , получим .

К сожалению, точное значение дисперсии случайной величины X нам не известно. Кроме этого, нам неизвестно и значение t кр , так как оно зависит от n через количество степеней свободы. В данной ситуации мы можем поступить следующим образом. Вместо дисперсии s используем какую-либо оценку дисперсии, по каким-либо имеющимся реализациям исследуемой случайной величины. Вместо значения t кр используем значение z кр для нормального распределения. Это вполне допустимо, поскольку функции плотности распределений для нормального и t-распределения очень близки (за исключением случая малых n ). Таким образом, искомая формула принимает вид:

.

Поскольку формула дает, вообще говоря, нецелочисленные результат, в качестве искомого размера выборки берется округление с избытком результата.

Пример

В ресторане быстрого обслуживания планируется расширить ассортимент новым видом сэндвича. Для того чтобы оценить спрос на него, менеджер случайным образом планирует выбрать некоторое количество посетителей из тех, кто уже попробовал его, и предложить им оценить их отношение к новому продукту в баллах от 1 до 10. Менеджер хочет оценить ожидаемое количество баллов, которое получит новый продукт и построить 95%-й доверительный интервал этой оценки. При этом он хочет, чтобы половина ширины доверительного интервала не превышала 0,3. Какое количество посетителей ему необходимо опросить?

выглядит следующим образом:

Здесь р оц - оценка доли p , а В есть заданная половина длины доверительного интервала. Завышенное значение для n можно получить, используя значение р оц = 0,5. В этом случае длина доверительного интервала не будет превосходить заданного значения В при любом истинном значении p .

Пример

Пусть менеджер из предыдущего примера планирует оценить долю клиентов, отдавших предпочтение новому виду продукции. Он хочет построить 90%-й доверительный интервал, половина длины которого не превосходила бы 0,05. Сколько клиентов должно войти в случайную выборку?

Решение

В нашем случае значение z кр = 1,645. Поэтому искомое количество вычисляется как .

Если бы менеджер имел основания полагать, что искомое значение p составляет, например, примерно 0,3, то, подставляя это значение в вышеприведенную формулу, мы получили бы меньшее значение величины случайной выборки, а именно 228.

Формула для определения размеров случайной выборки в случае разности между двумя средними значениями записывается как:

.

Пример

Некоторая компьютерная компания имеет сервисный центр по обслуживанию клиентов. В последнее время увеличилось количество жалоб клиентов на плохое качество обслуживания. В сервисном центре в основном работают сотрудники двух типов: не имеющие большого опыта, но закончившие специальные подготовительные курсы, и имеющие большой практический опыт, но не закончившие специальных курсов. Компания хочет проанализировать нарекания клиентов за последние полгода и сравнить их средние количества, приходящиеся на каждую из двух групп сотрудников. Предполагается, что количества в выборках по обеим группам будут одинаковые. Какое количество сотрудников необходимо включить в выборку, чтобы получить 95%-й интервал с половиной длины не более 2?

Решение

Здесь σ оц есть оценка стандартного отклонения обеих случайных переменных в предположении, что они близки. Таким образом, в нашей задаче нам необходимо каким-то образом получить эту оценку. Это можно сделать, например, следующим образом. Просмотрев данные по нареканиям клиентов за последние полгода, менеджер может заметить, что на каждого сотрудника в основном приходится от 6 до 36 нареканий. Зная, что для нормального распределения практически все значения удалены от среднего значения не более чем на три стандартных отклонения, он может с определенным основанием полагать, что:

, откуда σ оц = 5.

Подставляя это значение в формулу, получаем .

Формула для определения размера случайной выборки в случае оценки разности между долями имеет вид:

Пример

Некоторая компания имеет две фабрики по производству аналогичной продукции. Менеджер компании хочет сравнить доли бракованной продукции на обеих фабриках. По имеющейся информации процент брака на обеих фабриках составляет от 3 до 5%. Предполагается построить 99%-й доверительный интервал с половиной длины не более 0,005 (или 0,5%). Какое количество изделий необходимо отобрать с каждой фабрики?

Решение

Здесь р 1оц и р 2оц являются оценками двух неизвестных долей брака на 1-й и 2-й фабрике. Если положить р 1оц = р 2оц = 0,5, то мы получим завышенное значение для n . Но поскольку в нашем случае мы имеем некоторую априорную информацию об этих долях, то мы берем верхнюю оценку этих долей, а именно 0,05. Получаем

Когда делается оценка некоторых параметров совокупности по выборочным данным, полезно дать не только точечную оценку параметра, но и указать доверительный интервал, который показывает, где может находиться точное значение оцениваемого параметра.

В данной главе мы также познакомились с количественными соотношениями, позволяющими строить такие интервалы для различных параметров; узнали способы управления длиной доверительного интервала.

Отметим также, что задачу оценки размеров выборки (задача планирования эксперимента) можно решить, используя стандартные средства StatPro , а именно StatPro/Statistical Inference/Sample Size Selection .

Доверительные интервалы.

Вычисление доверительного интервала базируется на средней ошибке соответствующего параметра. Доверительный интервал показывает, в каких пределах с вероятностью (1-a) находится истинное значение оцениваемого параметра. Здесь a – уровень значимости, (1-a) называют также доверительной вероятностью.

В первой главе мы показали, что, например, для среднего арифметического, истинное среднее по сово­купности примерно в 95% случаев лежит в пределах 2 средних ошибок среднего. Таким образом, границы 95% доверительного интервала для среднего будет отстоять от выборочного среднего на удвоенную среднюю ошибку среднего, т.е. мы умножаем среднюю ошибку среднего на некий коэффициент, зависящий от доверительной вероятности. Для среднего и разности средних берётся коэффициент Стьюдента (критическое значение критерия Стьюдента), для доли и разности долей критическое значение критерия z. Произведение коэффициента на среднюю ошибку можно назвать предельной ошибкой данного параметра, т.е. максимальную, которую мы можем получить при его оценке.

Доверительный интервал для среднего арифметического : .

Здесь - выборочное среднее;

Средняя ошибка среднего арифметического;

s – выборочное среднее квадратическое отклонение;

n

f = n -1 (коэффициент Стьюдента).

Доверительный интервал для разности средних арифметических :

Здесь - разность выборочных средних;

- средняя ошибка разности средних арифметических;

s 1 ,s 2 – выборочные средние квадратические отклонения;

n 1 ,n 2

Критическое значение критерия Стьюдента при заданных уровне значимости a и числе степеней свободы f=n 1 +n 2 -2 (коэффициент Стьюдента).

Доверительный интервал для доли :

.

Здесь d – выборочная доля;

– средняя ошибка доли;

n – объём выборки (численность группы);

Доверительный интервал для разности долей :

Здесь - разность выборочных долей;

– средняя ошибка разности средних арифметических;

n 1 ,n 2 – объёмы выборок (численности групп);

Критическое значение критерия z при заданном уровне значимости a ( , , ).

Вычисляя доверительные интервалы для разности показателей, мы, во-первых, непосредственно видим возможные значения эффекта, а не только его точечную оценку. Во-вторых, можем сделать вывод о принятии или опровержении нулевой гипотезы и, в-третьих, можем сделать вывод о мощности критерия.

При проверке гипотез с помощью доверительных интервалов надо придерживаться следующего правила:

Если 100(1-a)-процентный доверительный интервал разности средних не содержит нуля, то различия статистически значимы на уровне значимости a; напротив, если этот интервал содержит ноль, то различия статистически не значимы.

Действительно, если этот интервал содержит ноль, то, значит, сравниваемый показатель может оказаться как больше, так и меньше в одной из групп, по сравнению с другой, т.е. наблюдаемые различия случайны.

По месту, где находится ноль внутри доверительного интервала, можно судить о мощности критерия. Если ноль близок к нижней или верхней границе интервала, то возможно при большей численности сравниваемых групп, различия достигли бы статистической значимости. Если ноль близок к середине интервала, то, значит, равновероятно и увеличение и уменьшение показателя в экспериментальной группе, и, вероятно, различий действительно нет.

Примеры:

Сравнить операционную летальность при применении двух разных видов анестезии: с применением первого вида анестезии оперировалось 61 человек, умерло 8, с применением второго – 67 человек, умерло 10.

d 1 = 8/61 = 0,131; d 2 = 10/67 = 0,149; d1-d2 = - 0,018.

Разность летальностей сравниваемых методов будет находиться в интервале (-0,018 - 0,122; -0,018 + 0,122) или (-0,14 ; 0,104) с вероятностью 100(1-a) = 95%. Интервал содержит ноль, т.е. гипотезу об одинаковой летальности при двух разных видах анестезии отвергнуть нельзя.

Таким образом, летальность может и уменьшится до 14% и увеличиться до 10,4% с вероятностью 95%, т.е. ноль находится примерно по середине интервала, поэтому можно утверждать, что, скорее всего, действительно не отличаются по летальности эти два метода.

В рассмотренном ранее примере сравнивалось среднее время нажатия при теппинг-тесте в четырёх группах студентов, отличающихся по экзаменационной оценке. Вычислим доверительные интервалы среднего времени нажатия для студентов, сдавших экзамен на 2 и на 5 и доверительный интервал для разности этих средних.

Коэффициенты Стьюдента находим по таблицам распределения Стьюдента (см. приложение): для первой группы: = t(0,05;48) = 2,011; для второй группы: = t(0,05;61) = 2,000. Таким образом, доверительные интервалы для первой группы: = (162,19-2,011*2,18 ; 162,19+2,011*2,18) = (157,8 ; 166,6) , для второй группы (156,55-2,000*1,88 ; 156,55+2,000*1,88) = (152,8 ; 160,3). Итак, для сдавших экзамен на 2, среднее время нажатия лежит в пределах от 157,8 мс до 166,6 мс с вероятностью 95%, для сдавших экзамен на 5 – от 152,8 мс до 160,3 мс с вероятностью 95%.

Проверять нулевую гипотезу можно и по доверительным интервалам для средних, а не только для разности средних. Например, как в нашем случае, если доверительные интервалы для средних перекрываются, то нулевую гипотезу отвергнуть нельзя. Для того чтобы отвергнуть гипотезу на выбранном уровне значимости, соответствующие доверительные интервалы не должны перекрываться.

Найдём доверительный интервал для разности среднего времени нажатия в группах сдавших экзамен на 2 и на 5. Разность средних: 162,19 – 156,55 = 5,64. Коэффициент Стьюдента: = t(0,05;49+62-2) = t(0,05;109) = 1,982. Групповые средние квадратические отклонения будут равны: ; . Вычисляем среднюю ошибку разности средних: . Доверительный интервал: =(5,64-1,982*2,87 ; 5,64+1,982*2,87) = (-0,044 ; 11,33).

Итак, разница среднего времени нажатия в группах, сдавших экзамен на 2 и на 5, будет находиться в интервале от -0,044 мс до 11,33 мс. В этот интервал входит ноль, т.е. среднее время нажатия у отлично сдавших экзамен, может и увеличиться и уменьшится по сравнению с неудовлетворительно сдавшими, т.е. нулевую гипотезу отвергнуть нельзя. Но ноль находится очень близко к нижней границе, время нажатия гораздо вероятнее всё-таки уменьшается у отлично сдавших. Таким образом, можно сделать вывод, что различия в среднем времени нажатия между сдавшими на 2 и на 5 всё-таки есть, просто мы не смогли их обнаружить при данном изменении среднего времени, разбросе среднего времени и объёмах выборок.

Мощность критерия – это вероятность отвергнуть неверную нулевую гипотезу, т.е. найти различия там, где они действительно есть.

Мощность критерия определяется исходя из уровня значимости, величины различий между группами, разброса значений в группах и объёма выборок.

Для критерия Стьюдента и дисперсионного анализа можно воспользоваться диаграммами чувствительности.

Мощность критерия можно использовать при предварительном определении необходимой численности групп.

Доверительный интервал показывает, в каких пределах с заданной вероятностью находится истинное значение оцениваемого параметра.

С помощью доверительных интервалов можно проверять статистические гипотезы и делать выводы о чувствительности критериев.

ЛИТЕРАТУРА.

Гланц С. – Глава 6,7.

Реброва О.Ю. – с.112-114, с.171-173, с.234-238.

Сидоренко Е. В. – с.32-33.

Вопросы для самопроверки студентов.

1. Что такое мощность критерия?

2. В каких случаях необходимо оценить мощность критериев?

3. Способы расчёта мощности.

6. Как проверить статистическую гипотезу с помощью доверительного интервала?

7. Что можно сказать о мощности критерия при расчёте доверительного интервала?

Задачи.

Пусть у нас имеется большое количество предметов, с нормальным распределением некоторых характеристик (например, полный склад однотипных овощей, размер и вес которых варьируется). Вы хотите знать средние характеристики всей партии товара, но у Вас нет ни времени, ни желания измерять и взвешивать каждый овощ. Вы понимаете, что в этом нет необходимости. Но сколько штук надо было бы взять на выборочную проверку?

Прежде, чем дать несколько полезных для этой ситуации формул напомним некоторые обозначения.

Во-первых, если бы мы все-таки промерили весь склад овощей (эт о множество элементов называется генеральной совокупностью), то мы узнали бы со всей доступной нам точностью среднее значение веса всей партии. Назовем это среднее значение Х ср.г ен . - генеральным средним. Мы уже знаем, что определяется полностью, если известно его среднее значение и отклонение s . Правда, пока мы ни Х ср.ген., ни s генеральной совокупности не знаем. Мы можем только взять некоторую выборку, замерить нужные нам значения и посчитать для этой выборки как среднее значение Х ср.в ыб., так и среднее квадратическое отклонение S выб.

Известно, что если наша выборочная проверка содержит большое количество элементов (обычно n больше 30), и они взяты действительно случайным образом , то s генеральной совокупности почти не будет отличаться от S выб ..

Кроме того, для случая нормального распределения мы можем пользоваться следующими формулами:

С вероятностью 95%

С вероятностью 99%

В общем виде c вероятностью Р (t)

Связь значения t со значением вероятности Р (t), с которой мы хотим знать доверительный интервал, можно взять из следующей таблицы:

Таким образом, мы определили, в каком диапазоне находится среднее значение для генеральной совокупности (с данной вероятностью).

Если у нас нет достаточно большой выборки, мы не можем утверждать, что генеральная совокупность имеет s = S выб. Кроме того, в этом случае проблематична близость выборки к нормальному распределению. В этом случае также пользуются S выб вместо s в формуле:

но значение t для фиксированной вероятности Р (t) будет зависеть от количества элементов в выборке n. Чем больше n, тем ближе будет полученный доверительный интервал к значению, даваемому формулой (1). Значения t в этом случае берутся из другой таблицы (t-критерий Стьюдента), которую мы приводим ниже:

Значения t-критерия Стьюдента для вероятности 0,95 и 0,99

Пример 3. Из работников фирмы случайным образом отобрано 30 человек. По выборке оказалось, что средняя зарплата (в месяц) составляет 30 тыс. рублей при среднем квадратическом отклонении 5 тыс. рублей. С вероятностью 0,99 определить среднюю зарплату в фирме.

Решение: По условию имеем n = 30, Х ср. =30000, S=5000, Р = 0,99. Для нахождения доверительного интервала воспользуемся формулой, соответствующей критерию Стьюдента. По таблице для n = 30 и Р = 0,99 находим t=2,756, следовательно,

т.е. искомый доверительный интервал 27484 < Х ср.ген < 32516.

Итак, вероятностью 0,99 можно утверждать, что интервал (27484; 32516) содержит внутри себя среднюю зарплату в фирме.

Мы надеемся, что Вы будете пользоваться этим методом, при этом не обязательно, чтобы при Вас каждый раз была таблица. Подсчеты можно проводить в Excel автоматически. Находясь в файле Excel, нажмите в верхнем меню кнопку fx. Затем, выберите среди функций тип "статистические", и из предложенного перечня в окошке - СТЬЮДРАСПОБР. Затем, по подсказке, поставив курсор в поле "вероятность" наберите значение обратной вероятности (т.е. в нашем случае вместо вероятности 0,95 надо набирать вероятность 0,05). Видимо, электронная таблица составлена так, что результат отвечает на вопрос, с какой вероятностью мы можем ошибиться. Аналогично в поле "степень свободы" введите значение (n-1) для своей выборки.