Уровень доверительной вероятности. Доверительные интервалы для частот и долей. Как самостоятельно рассчитать доверительный интервал в Excel
В предыдущих подразделах мы рассмотрели вопрос об оценке неизвестного параметра а одним числом. Такая оценка называется «точечной». В ряде задач требуется не только найти для параметра а подходящее численное значение, но и оценить его точность и надежность. Требуется знать, к каким ошибкам может привести замена параметра а его точечной оценкой а и с какой степенью уверенности можно ожидать, что эти ошибки не выйдут за известные пределы?
Такого рода задачи особенно актуальны при малом числе наблюдений, когда точечная оценка а в значительной мере случайна и приближенная замена а на а может привести к серьезным ошибкам.
Чтобы дать представление о точности и надежности оценки а ,
в математической статистике пользуются так называемыми доверительными интервалами и доверительными вероятностями.
Пусть для параметра а получена из опыта несмещенная оценка а. Мы хотим оценить возможную при этом ошибку. Назначим некоторую достаточно большую вероятность р (например, р = 0,9, 0,95 или 0,99) такую, что событие с вероятностью р можно считать практически достоверным, и найдем такое значение s, для которого
Тогда диапазон практически возможных значений ошибки, возникающей при замене а на а , будет ± s; большие по абсолютной величине ошибки будут появляться только с малой вероятностью а = 1 - р. Перепишем (14.3.1) в виде:
Равенство (14.3.2) означает, что с вероятностью р неизвестное значение параметра а попадает в интервал
При этом необходимо отметить одно обстоятельство. Ранее мы неоднократно рассматривали вероятность попадания случайной величины в заданный неслучайный интервал. Здесь дело обстоит иначе: величина а не случайна, зато случаен интервал / р. Случайно его положение на оси абсцисс, определяемое его центром а ; случайна вообще и длина интервала 2s, так как величина s вычисляется, как правило, по опытным данным. Поэтому в данном случае лучше будет толковать величину р не как вероятность «попадания» точки а в интервал / р, а как вероятность того, что случайный интервал / р накроет точку а (рис. 14.3.1).
Рис. 14.3.1
Вероятность р принято называть доверительной вероятностью , а интервал / р - доверительным интервалом . Границы интервала If. а х =а- s и а 2 = а + а называются доверительными границами.
Дадим еще одно истолкование понятию доверительного интервала: его можно рассматривать как интервал значений параметра а, совместимых с опытными данными и не противоречащих им. Действительно, если условиться считать событие с вероятностью а = 1-р практически невозможным, то те значения параметра а, для которых а - а > s, нужно признать противоречащими опытным данным, а те, для которых |а - а a t na 2 .
Пусть для параметра а имеется несмещенная оценка а. Если бы нам был известен закон распределения величины а , задача нахождения доверительного интервала была бы весьма проста: достаточно было бы найти такое значение s, для которого
Затруднение состоит в том, что закон распределения оценки а зависит от закона распределения величины X и, следовательно, от его неизвестных параметров (в частности, и от самого параметра а).
Чтобы обойти это затруднение, можно применить следующий грубо приближенный прием: заменить в выражении для s неизвестные параметры их точечными оценками. При сравнительно большом числе опытов п (порядка 20...30) этот прием обычно дает удовлетворительные по точности результаты.
В качестве примера рассмотрим задачу о доверительном интервале для математического ожидания.
Пусть произведено п X, характеристики которой - математическое ожидание т и дисперсия D - неизвестны. Для этих параметров получены оценки:
Требуется построить доверительный интервал / р, соответствующий доверительной вероятности р, для математического ожидания т величины X.
При решении этой задачи воспользуемся тем, что величина т представляет собой сумму п независимых одинаково распределенных случайных величин X h и согласно центральной предельной теореме при достаточно большом п ее закон распределения близок к нормальному. На практике даже при относительно небольшом числе слагаемых (порядка 10...20) закон распределения суммы можно приближенно считать нормальным. Будем исходить из того, что величина т распределена по нормальному закону. Характеристики этого закона - математическое ожидание и дисперсия - равны соответственно т и
(см. главу 13 подраздел 13.3). Предположим, что величина D нам известна и найдем такую величину Ер, для которой
Применяя формулу (6.3.5) главы 6, выразим вероятность в левой части (14.3.5) через нормальную функцию распределения
где - среднее квадратичное отклонение оценки т.
Из уравнения
находим значение Sp:
где arg Ф* (х) - функция, обратная Ф* (х), т.е. такое значение аргумента, при котором нормальная функция распределения равна х.
Дисперсия D, через которую выражена величина а 1П, нам в точности не известна; в качестве ее ориентировочного значения можно воспользоваться оценкой D (14.3.4) и положить приближенно:
Таким образом, приближенно решена задача построения доверительного интервала, который равен:
где gp определяется формулой (14.3.7).
Чтобы избежать при вычислении s p обратного интерполирования в таблицах функции Ф* (л), удобно составить специальную таблицу (табл. 14.3.1), где приводятся значения величины
в зависимости от р. Величина (р определяет для нормального закона число средних квадратических отклонений, которое нужно отложить вправо и влево от центра рассеивания для того, чтобы вероятность попадания в полученный участок была равна р.
Через величину 7 р доверительный интервал выражается в виде:
Таблица 14.3.1
Пример 1. Проведено 20 опытов над величиной X; результаты приведены в табл. 14.3.2.
Таблица 14.3.2
Требуется найти оценку от для математического ожидания от величины X и построить доверительный интервал, соответствующий доверительной вероятности р = 0,8.
Решение. Имеем:
Выбрав за начало отсчета л: = 10, по третьей формуле (14.2.14) находим несмещенную оценку D :
По табл. 14.3,1 находим
Доверительные границы:
Доверительный интервал:
Значения параметра т, лежащие в этом интервале, являются совместимыми с опытными данными, приведенными в табл. 14.3.2.
Аналогичным способом может быть построен доверительный интервал и для дисперсии.
Пусть произведено п независимых опытов над случайной величиной X с неизвестными параметрами от и Л, и для дисперсии D получена несмещенная оценка:
Требуется приближенно построить доверительный интервал для дисперсии.
Из формулы (14.3.11) видно, что величина D представляет собой
сумму п случайных величин вида . Эти величины не являются
независимыми, так как в любую из них входит величина т, зависящая от всех остальных. Однако можно показать, что при увеличении п закон распределения их суммы тоже приближается к нормальному. Практически при п = 20...30 он уже может считаться нормальным.
Предположим, что это так, и найдем характеристики этого закона: математическое ожидание и дисперсию. Так как оценка D - несмещенная, то М[D] = D.
Вычисление дисперсии D D связано со сравнительно сложными выкладками, поэтому приведем ее выражение без вывода:
где ц 4 - четвертый центральный момент величины X.
Чтобы воспользоваться этим выражением, нужно подставить в него значения ц 4 и D (хотя бы приближенные). Вместо D можно воспользоваться его оценкой D . В принципе четвертый центральный момент тоже можно заменить его оценкой, например величиной вида:
но такая замена даст крайне невысокую точность, так как вообще при ограниченном числе опытов моменты высокого порядка определяются с большими ошибками. Однако на практике часто бывает, что вид закона распределения величины X известен заранее: неизвестны лишь его параметры. Тогда можно попытаться выразить ц 4 через D.
Возьмем наиболее часто встречающийся случай, когда величина X распределена по нормальному закону. Тогда ее четвертый центральный момент выражается через дисперсию (см. главу 6 подраздел 6.2);
и формула (14.3.12) дает
или
Заменяя в (14.3.14) неизвестное D
его оценкой D
, получим:
откуда
Момент ц 4 можно выразить через D
также и в некоторых других случаях, когда распределение величины X
не является нормальным, но вид его известен. Например, для закона равномерной плотности (см. главу 5) имеем:
где (а, Р) - интервал, на котором задан закон.
Следовательно,
По формуле (14.3.12) получим:
откуда находим приближенно
В случаях, когда вид закона распределения величины 26 неизвестен, при ориентировочной оценке величины а /} рекомендуется все же пользоваться формулой (14.3.16), если нет специальных оснований считать, что этот закон сильно отличается от нормального (обладает заметным положительным или отрицательным эксцессом).
Если ориентировочное значение а /} тем или иным способом получено, то можно построить доверительный интервал для дисперсии аналогично тому, как мы строили его для математического ожидания:
где величина в зависимости от заданной вероятности р находится по табл. 14.3.1.
Пример 2. Найти приближенно 80%-й доверительный интервал для дисперсии случайной величины X в условиях примера 1, если известно, что величина X распределена по закону, близкому к нормальному.
Решение. Величина остается той же, что в табл. 14.3.1:
По формуле (14.3.16)
По формуле (14.3.18) находим доверительный интервал:
Соответствующий интервал значений среднего квадратичного отклонения: (0,21; 0,29).
14.4. Точные методы построения доверительных интервалов для параметров случайной величины, распределенной по нормальному закону
В предыдущем подразделе мы рассмотрели грубо приближенные методы построения доверительных интервалов для математического ожидания и дисперсии. Здесь мы дадим представление о точных методах решения той же задачи. Подчеркнем, что для точного нахождения доверительных интервалов совершенно необходимо знать заранее вид закона распределения величины X, тогда как для применения приближенных методов это не обязательно.
Идея точных методов построения доверительных интервалов сводится к следующему. Любой доверительный интервал находится из условия, выражающего вероятность выполнения некоторых неравенств, в которые входит интересующая нас оценка а. Закон распределения оценки а в общем случае зависит от неизвестных параметров величины X. Однако иногда удается перейти в неравенствах от случайной величины а к какой-либо другой функции наблюденных значений Х п Х 2 , ..., X п. закон распределения которой не зависит от неизвестных параметров, а зависит только от числа опытов и и от вида закона распределения величины X. Такого рода случайные величины играют большую роль в математической статистике; они наиболее подробно изучены для случая нормального распределения величины X.
Например, доказано, что при нормальном распределении величины X случайная величина
подчиняется так называемому закону распределения Стъюдента с п - 1 степенями свободы; плотность этого закона имеет вид
где Г (х) - известная гамма-функция:
Доказано также, что случайная величина
имеет «распределение % 2 » с п - 1 степенями свободы (см. главу 7), плотность которого выражается формулой
Не останавливаясь на выводах распределений (14.4.2) и (14.4.4), покажем, как их можно применить при построении доверительных интервалов для параметров ти D .
Пусть произведено п независимых опытов над случайной величиной X, распределенной по нормальному закону с неизвестными параметрами тиО. Для этих параметров получены оценки
Требуется построить доверительные интервалы для обоих параметров, соответствующие доверительной вероятности р.
Построим сначала доверительный интервал для математического ожидания. Естественно этот интервал взять симметричным относительно т ; обозначим s p половину длины интервала. Величину s p нужно выбрать так, чтобы выполнялось условие
Попытаемся перейти в левой части равенства (14.4.5) от случайной величины т к случайной величине Т, распределенной по закону Стьюдента. Для этого умножим обе части неравенства |m-w?|
на положительную величину:
или, пользуясь обозначением (14.4.1),
Найдем такое число / р, что Величина / р найдется из условия
Из формулы (14.4.2) видно, что (1) - четная функция, поэтому (14.4.8) дает
Равенство (14.4.9) определяет величину / р в зависимости от р. Если иметь в своем распоряжении таблицу значений интеграла
то величину / р можно найти обратным интерполированием в таблице. Однако удобнее составить заранее таблицу значений / р. Такая таблица дается в приложении (табл. 5). В этой таблице приведены значения в зависимости от доверительной вероятности р и числа степеней свободы п
- 1. Определив / р по табл. 5 и полагая
мы найдем половину ширины доверительного интервала / р и сам интервал
Пример 1. Произведено 5 независимых опытов над случайной величиной X, распределенной нормально с неизвестными параметрами т и о. Результаты опытов приведены в табл. 14.4.1.
Таблица 14.4.1
Найти оценку т для математического ожидания и построить для него 90%-й доверительный интервал / р (т.е. интервал, соответствующий доверительной вероятности р = 0,9).
Решение. Имеем:
По таблице 5 приложения для п -
1 = 4 и р = 0,9 находим
откуда
Доверительный интервал будет
Пример 2. Для условий примера 1 подраздела 14.3, предполагая величину X распределенной нормально, найти точный доверительный интервал.
Решение. По таблице 5 приложения находим при п - 1 = 19ир =
0,8 / р =1,328; отсюда
Сравнивая с решением примера 1 подраздела 14.3 (е р = 0,072), убеждаемся, что расхождение весьма незначительно. Если сохранить точность до второго знака после запятой, то доверительные интервалы, найденные точным и приближенным методами, совпадают:
Перейдем к построению доверительного интервала для дисперсии. Рассмотрим несмещенную оценку дисперсии
и выразим случайную величину D через величину V (14.4.3), имеющую распределение х 2 (14.4.4):
Зная закон распределения величины V, можно найти интервал / (1 , в который она попадает с заданной вероятностью р.
Закон распределения k n _ x {v) величины I 7 имеет вид, изображенный на рис. 14.4.1.
Рис. 14.4.1
Возникает вопрос: как выбрать интервал / р? Если бы закон распределения величины V был симметричным (как нормальный закон или распределение Стьюдента), естественно было бы взять интервал /р симметричным относительно математического ожидания. В данном случае закон к п _ х (v) несимметричен. Условимся выбирать интервал /р так, чтобы вероятности выхода величины V за пределы интервала вправо и влево (заштрихованные площади на рис. 14.4.1) были одинаковы и равны
Чтобы построить интервал / р с таким свойством, воспользуемся табл. 4 приложения: в ней приведены числа у} такие, что
для величины V, имеющей х 2 -распределение с г степенями свободы. В нашем случае г = п - 1. Зафиксируем г = п - 1 и найдем в соответствующей строке табл. 4 два значения х 2 - одно, отвечающее вероятности другое - вероятности Обозначим эти
значения у 2 и xl ? Интервал имеет у 2 , своим левым, а у ~ правым концом.
Теперь найдем по интервалу / р искомый доверительный интервал /|, для дисперсии с границами D, и D 2 ,
который накрывает точку D
с вероятностью р:
Построим такой интервал / (, = (?> ь А), который накрывает точку D тогда и только тогда, когда величина V попадает в интервал / р. Покажем, что интервал
удовлетворяет этому условию. Действительно, неравенства
равносильны неравенствам
а эти неравенства выполняются с вероятностью р. Таким образом, доверительный интервал для дисперсии найден и выражается формулой (14.4.13).
Пример 3. Найти доверительный интервал для дисперсии в условиях примера 2 подраздела 14.3, если известно, что величинаX распределена нормально.
Решение.
Имеем
. По таблице 4 приложения
находим при г = п - 1 = 19
По формуле (14.4.13) находим доверительный интервал для дисперсии
Соответствующий интервал для среднего квадратичного отклонения: (0,21; 0,32). Этот интервал лишь незначительно превосходит полученный в примере 2 подраздела 14.3 приближенным методом интервал (0,21; 0,29).
- На рисунке 14.3.1 рассматривается доверительный интервал, симметричный относительно а. Вообще, как мы увидим дальше, это необязательно.
ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ ДЛЯ ЧАСТОТ И ДОЛЕЙ
© 2008 г.
Национальный институт общественного здоровья, г. Осло, Норвегия
В статье описывается и обсуждается расчет доверительных интервалов для частот и долей по методам Вальда, Уилсона, Клоппера – Пирсона, с помощью углового преобразования и по методу Вальда с коррекцией по Агрести – Коуллу. Изложенный материал дает общие сведения о способах расчета доверительных интервалов для частот и долей и призван вызвать интерес читателей журнала не только к использованию доверительных интервалов при представлении результатов собственных исследований, но и к прочтению специализированной литературы перед началом работы над будущими публикациями.
Ключевые слова : доверительный интервал, частота, доля
В одной из предыдущих публикаций кратко упоминалось описание качественных данных и сообщалось, что их интервальная оценка предпочтительнее точечной для описания частоты встречаемости изучаемой характеристики в генеральной совокупности . Действительно, поскольку исследования проводятся с использованием выборочных данных, проекция результатов на генеральную совокупность должна содержать элемент неточности выборочной оценки. Доверительный интервал представляет собой меру точности оцениваемого параметра. Интересно, что в некоторых книгах по основам статистики для медиков тема доверительных интервалов для частот полностью игнорируется . В данной статье мы рассмотрим несколько способов расчета доверительных интервалов для частот, подразумевая такие характеристики выборки, как бесповторность и репрезентативность, а также независимость наблюдений друг от друга. Под частотой в данной статье понимается не абсолютное число, показывающее, сколько раз встречается в совокупности то или иное значение, а относительная величина , определяющая долю участников исследования, у которых встречается изучаемый признак.
В биомедицинских исследованиях чаще всего используются 95 % доверительные интервалы. Данный доверительный интервал представляет собой область, в которую попадает истинное значение доли в 95 % случаев. Другими словами, можно с 95 % надежностью сказать, что истинное значение частоты встречаемости признака в генеральной совокупности будет находиться в пределах 95 % доверительного интервала.
В большинстве пособий по статистике для исследователей от медицины сообщается , что ошибка частоты рассчитывается с помощью формулы
где p – частота встречаемости признака в выборке (величина от 0 до 1). В большинстве отечественных научных статей указывается значение частоты встречаемости признака в выборке (р), а также ее ошибка (s) в виде p ± s. Целесообразнее, однако, представлять 95 % доверительный интервал для частоты встречаемости признака в генеральной совокупности, который будет включать значения от
 |
до.
В некоторых пособиях рекомендуется при малых выборках заменять значение 1,96 на значение t для N – 1 степеней свободы, где N – количество наблюдений в выборке. Значение t находится по таблицам для t-распределения, имеющимся практически во всех пособиях по статистике. Использование распределения t для метода Вальда не дает видимых преимуществ по сравнению с другими методами, рассмотренными ниже , и потому некоторыми авторами не приветствуется .
Представленный выше метод расчета доверительных интервалов для частот или долей носит имя Вальда в честь Авраама Вальда (Abraham Wald, 1902–1950), поскольку широкое применение его началось после публикации Вальда и Вольфовица в 1939 году . Однако сам метод был предложен Пьером Симоном Лапласом (1749–1827) еще в 1812 году.
Метод Вальда очень популярен, однако его применение связано с существенными проблемами. Метод не рекомендуется при малых объемах выборок, а также в случаях, когда частота встречаемости признака стремится к 0 или 1 (0 % или 100 %) и просто невозможно для частот 0 и 1. Кроме того, аппроксимация нормального распределения, которая используется при расчете ошибки, «не работает» в случаях, когда n · p < 5 или n · (1 – p) < 5 . Более консервативные статистики считают, что n · p и n · (1 – p) должны быть не менее 10 . Более детальное рассмотрение метода Вальда показало, что полученные с его помощью доверительные интервалы в большинстве случаев слишком узки, то есть их применение ошибочно создает слишком оптимистичную картину, особенно при удалении частоты встречаемости признака от 0,5, или 50 % . К тому же при приближении частоты к 0 или 1 доверительный интревал может принимать отрицательные значения или превышать 1, что выглядит абсурдно для частот. Многие авторы совершенно справедливо не рекомендуют применять данный метод не только в уже упомянутых случаях, но и тогда, когда частота встречаемости признака менее 25 % или более 75 % . Таким образом, несмотря на простоту расчетов, метод Вальда может применяться лишь в очень ограниченном числе случаев. Зарубежные исследователи более категоричны в своих выводах и однозначно рекомендуют не применять этот метод для небольших выборок , а ведь именно с такими выборками часто приходится иметь дело исследователям-медикам.
Поскольку новая переменная имеет нормальное распределение, нижняя и верхняя границы 95 % доверительного интервала для переменной φ будут равны φ-1,96 и φ+1,96left">
Вместо 1,96 для малых выборок рекомендуется подставлять значение t для N – 1 степеней свободы . Данный метод не дает отрицательных значений и позволяет более точно оценить доверительные интервалы для частот, чем метод Вальда. Кроме того, он описан во многих отечественных справочниках по медицинской статистике , что, правда, не привело к его широкому использованию в медицинских исследованиях. Расчет доверительных интервалов с использованием углового преобразования не рекомендуется при частотах, приближающихся к 0 или 1 .
На этом описание способов оценки доверительных интервалов в большинстве книг по основам статистики для исследователей-медиков обычно заканчивается, причем эта проблема характерна не только для отечественной, но и для зарубежной литературы. Оба метода основаны на центральной предельной теореме, которая подразумевает наличие большой выборки.
Принимая во внимание недостатки оценки доверительных интервалов с помощью вышеупомянутых методов, Клоппер (Clopper) и Пирсон (Pearson) предложили в 1934 году способ расчета так называемого точного доверительного интервала с учетом биномиального распределения изучаемого признака . Данный метод доступен во многих онлайн-калькуляторах, однако доверительные интервалы, полученные таким образом, в большинстве случаев слишком широки. В то же время этот метод рекомендуется применять в тех случаях, когда необходима консервативная оценка. Степень консервативности метода увеличивается по мере уменьшения объема выборки, особенно при N < 15 . описывает применение функции биномиального распределения для анализа качественных данных с использованием MS Excel, в том числе и для определения доверительных интервалов, однако расчет последних для частот в электронных таблицах не «затабулирован» в удобном для пользователя виде, а потому, вероятно, и не используется большинством исследователей.
По мнению многих статистиков , наиболее оптимальную оценку доверительных интервалов для частот осуществляет метод Уилсона (Wilson), предложенный еще в 1927 году , но практически не используемый в отечественных биомедицинских исследованиях. Данный метод не только позволяет оценить доверительные интервалы как для очень малых и очень больших частот, но и применим для малого числа наблюдений. В общем виде доверительный интервал по формуле Уилсона имеет вид от
 |
 |
где принимает значение 1,96 при расчете 95 % доверительного интервала, N – количество наблюдений, а р – частота встречаемости признака в выборке. Данный метод доступен в онлайн-калькуляторах, поэтому его применение не является проблематичным. и не рекомендуют использовать этот метод при n · p < 4 или n · (1 – p) < 4 по причине слишком грубого приближения распределения р к нормальному в такой ситуации, однако зарубежные статистики считают метод Уилсона применимым и для малых выборок .
Считается, что помимо метода Уилсона метод Вальда с коррекцией по Агрести – Коуллу также дает оптимальную оценку доверительного интервала для частот . Коррекция по Агрести – Коуллу представляет собой замену в формуле Вальда частоты встречаемости признака в выборке (р) на р`, при расчете которой к числителю добавляется 2, а к знаменателю добавляется 4, то есть p` = (X + 2) / (N + 4), где Х – количество участников исследования, у которых имеется изучаемый признак, а N – объем выборки . Такая модификация приводит к результатам, очень похожим на результаты применения формулы Уилсона, за исключением случаев, когда частота события приближается к 0 % или 100 %, а выборка мала . Кроме вышеупомянутых способов расчета доверительных интервалов для частот были предложены поправки на непрерывность как для метода Вальда, так и для метода Уилсона для малых выборок, однако исследования показали, что их применение нецелесообразно .
Рассмотрим применение вышеописанных способов расчета доверительных интервалов на двух примерах. В первом случае мы изучаем большую выборку, состоящую из 1 000 случайно отобранных участников исследования, из которых 450 имеют изучаемый признак (это может быть фактор риска, исход или любой другой признак), что составляет частоту 0,45, или 45 %. Во втором случае исследование проводится с использованием малой выборки, допустим, всего 20 человек, причем изучаемый признак имеется всего у 1 участника исследования (5 %). Доверительные интервалы по методу Вальда, по методу Вальда с коррекцией по Агрести – Коуллу, по методу Уилсона рассчитывались с помощью онлайн-калькулятора, разработанного Jeff Sauro (http://www. /wald. htm). Доверительные интервалы по методу Уилсона с поправкой на непрерывность рассчитывались с помощью калькулятора, предложенного порталом Wassar Stats: Web Site for Statistical Computation (http://faculty. vassar. edu/lowry/prop1.html). Расчеты с помощью углового преобразования Фишера производились «вручную» с использованием критического значения t для 19 и 999 степеней свободы соответственно. Результаты расчетов представлены в таблице для обоих примеров.
Доверительные интервалы, рассчитанные шестью разными способами для двух примеров, описанных в тексте
Способ расчета доверительного интервала |
Р=0,0500, или 5% | 95% ДИ для X=450, N=1000, Р=0,4500, или 45% |
–0,0455–0,2541 | ||
Вальда с коррекцией по Агрести – Коуллу | <,0001–0,2541 | |
Уилсона с коррекцией на непрерывность | ||
«Точный метод» Клоппера – Пирсона | ||
Угловое преобразование | <0,0001–0,1967 |
Как видно из таблицы, для первого примера доверительный интервал, рассчитанный по «общепринятому» методу Вальда заходит в отрицательную область, чего для частот быть не может. К сожалению, подобные казусы нередки в отечественной литературе. Традиционный способ представления данных в виде частоты и ее ошибки частично маскирует эту проблему. Например, если частота встречаемости признака (в процентах) представлена как 2,1 ± 1,4, то это не настолько «режет глаз», как 2,1 % (95 % ДИ: –0,7; 4,9), хоть и обозначает то же самое. Метод Вальда с коррекцией по Агрести – Коуллу и расчет с помощью углового преобразования дают нижнюю границу, стремящуюся к нулю. Метод Уилсона с поправкой на непрерывность и «точный метод» дают более широкие доверительные интервалы, чем метод Уилсона. Для второго примера все методы дают приблизительно одинаковые доверительные интервалы (различия появляются только в тысячных), что неудивительно, так как частота встречаемости события в этом примере не сильно отличается от 50 %, а объем выборки достаточно велик.
Для читателей, заинтересовавшихся данной проблемой, можно порекомендовать работы R. G. Newcombe и Brown, Cai и Dasgupta , в которых приводятся плюсы и минусы применения 7 и 10 различных методов расчета доверительных интервалов соответственно . Из отечественных пособий рекомендуется книга и , в которой помимо подробного описания теории представлены методы Вальда, Уилсона, а также способ расчета доверительных интервалов с учетом биномиального распределения частот. Кроме бесплатных онлайн-калькуляторов (http://www. /wald. htm и http://faculty. vassar. edu/lowry/prop1.html) доверительные интервалы для частот (и не только!) можно рассчитывать с помощью программы CIA (Confidence Intervals Analysis), которую можно загрузить с http://www. medschool. soton. ac. uk/cia/ .
В следующей статье будут рассмотрены одномерные способы сравнения качественных данных.
Список литературы
Медицинская статистика понятным языком: вводный курс / А. Банержи. – М. : Практическая медицина, 2007. – 287 с. Медицинская статистика / . – М. : Медицинское информационное агенство, 2007. – 475 с. Медико-биологическая статистика / С. Гланц. – М. : Практика, 1998. Типы данных, проверка распределения и описательная статистика / // Экология человека – 2008. – № 1. – С. 52–58. С . Медицинская статистика: учебное пособие / . – Ростов н/Д: Феникс, 2007. – 160 с. Прикладная медицинская статистика / , . – СПб. : Фолиант, 2003. – 428 с. Ф . Биометрия / . – М. : Высшая школа, 1990. – 350 с. А . Математическая статистика в медицине / , . – М. : Финансы и статистика, 2007. – 798 с. Математическая статистика в клинических исследованиях / , . – М. : ГЭОТАР-МЕД, 2001. – 256 с. Юнкеров В . И . Медико-статистическая обработка данных медицинских исследований / , . – СПб. : ВмедА, 2002. – 266 с. Agresti A. Approximate is better than exact for interval estimation of binomial proportions / A. Agresti, B. Coull // American statistician. – 1998. – N 52. – С. 119–126. Altman D. Statistics with confidence // D. Altman, D. Machin, T. Bryant, M. J. Gardner. – London: BMJ Books, 2000. – 240 p. Brown L. D. Interval estimation for a binomial proportion / L. D. Brown, T. T. Cai, A. Dasgupta // Statistical science. – 2001. – N 2. – P. 101–133. Clopper C. J. The use of confidence or fiducial limits illustrated in the case of the binomial / C. J. Clopper, E. S. Pearson // Biometrika. – 1934. – N 26. – P. 404–413. Garcia-Perez M. A . On the confidence interval for the binomial parameter / M. A. Garcia-Perez // Quality and quantity. – 2005. – N 39. – P. 467–481. Motulsky H. Intuitive biostatistics // H. Motulsky. – Oxford: Oxford University Press, 1995. – 386 p. Newcombe R. G. Two-Sided Confidence Intervals for the Single Proportion: Comparison of Seven Methods / R. G. Newcombe // Statistics in Medicine. – 1998. – N. 17. – P. 857–872. Sauro J. Estimating completion rates from small samples using binomial confidence intervals: comparisons and recommendations / J. Sauro, J. R. Lewis // Proceedings of the human factors and ergonomics society annual meeting. – Orlando, FL, 2005. Wald A. Confidence limits for continuous distribution functions // A. Wald, J. Wolfovitz // Annals of Mathematical Statistics. – 1939. – N 10. – P. 105–118. Wilson E. B . Probable inference, the law of succession, and statistical inference / E. B. Wilson // Journal of American Statistical Association. – 1927. – N 22. – P. 209–212.CONFIDENCE INTERVALS FOR PROPORTIONS
A. M. Grjibovski
National Institute of Public Health, Oslo, Norway
The article presents several methods for calculations confidence intervals for binomial proportions, namely, Wald, Wilson, arcsine, Agresti-Coull and exact Clopper-Pearson methods. The paper gives only general introduction to the problem of confidence interval estimation of a binomial proportion and its aim is not only to stimulate the readers to use confidence intervals when presenting results of own empirical research, but also to encourage them to consult statistics books prior to analysing own data and preparing manuscripts.
Key words : confidence interval, proportion
Контактная информация:
– старший советник Национального института общественного здоровья, г. Осло, Норвегия
Построим в MS EXCEL доверительный интервал для оценки среднего значения распределения в случае известного значения дисперсии.
Разумеется, выбор уровня доверия полностью зависит от решаемой задачи. Так, степень доверия авиапассажира к надежности самолета, несомненно, должна быть выше степени доверия покупателя к надежности электрической лампочки.
Формулировка задачи
Предположим, что из генеральной совокупности имеющей взята выборка размера n. Предполагается, что стандартное отклонение этого распределения известно. Необходимо на основании этой выборки оценить неизвестное среднее значение распределения (μ, ) и построить соответствующий двухсторонний доверительный интервал .
Точечная оценка
Как известно из , статистика (обозначим ее Х ср ) является несмещенной оценкой среднего этой генеральной совокупности и имеет распределение N(μ;σ 2 /n).
Примечание : Что делать, если требуется построить доверительный интервал в случае распределения, которое не является нормальным? В этом случае на помощь приходит , которая гласит, что при достаточно большом размере выборки n из распределения не являющемся нормальным , выборочное распределение статистики Х ср будет приблизительно соответствовать нормальному распределению с параметрами N(μ;σ 2 /n).
Итак, точечная оценка среднего значения распределения у нас есть – это среднее значение выборки , т.е. Х ср . Теперь займемся доверительным интервалом.
Построение доверительного интервала
Обычно, зная распределение и его параметры, мы можем вычислить вероятность того, что случайная величина примет значение из заданного нами интервала. Сейчас поступим наоборот: найдем интервал, в который случайная величина попадет с заданной вероятностью. Например, из свойств нормального распределения известно, что с вероятностью 95%, случайная величина, распределенная по нормальному закону , попадет в интервал примерно +/- 2 от среднего значения (см. статью про ). Этот интервал, послужит нам прототипом для доверительного интервала .
Теперь разберемся,знаем ли мы распределение, чтобы вычислить этот интервал? Для ответа на вопрос мы должны указать форму распределения и его параметры.
Форму распределения мы знаем – это нормальное распределение (напомним, что речь идет о выборочном распределении статистики Х ср ).
Параметр μ нам неизвестен (его как раз нужно оценить с помощью доверительного интервала ), но у нас есть его оценка Х ср, вычисленная на основе выборки, которую можно использовать.
Второй параметр – стандартное отклонение выборочного среднего будем считать известным , он равен σ/√n.
Т.к. мы не знаем μ, то будем строить интервал +/- 2 стандартных отклонения не от среднего значения , а от известной его оценки Х ср . Т.е. при расчете доверительного интервала мы НЕ будем считать, что Х ср попадет в интервал +/- 2 стандартных отклонения от μ с вероятностью 95%, а будем считать, что интервал +/- 2 стандартных отклонения от Х ср с вероятностью 95% накроет μ – среднее генеральной совокупности, из которого взята выборка . Эти два утверждения эквивалентны, но второе утверждение нам позволяет построить доверительный интервал .
Кроме того, уточним интервал: случайная величина, распределенная по нормальному закону , с вероятностью 95% попадает в интервал +/- 1,960 стандартных отклонений, а не+/- 2 стандартных отклонения . Это можно рассчитать с помощью формулы =НОРМ.СТ.ОБР((1+0,95)/2) , см. файл примера Лист Интервал .
Теперь мы можем сформулировать вероятностное утверждение, которое послужит нам для формирования доверительного интервала
:
«Вероятность того, что среднее генеральной совокупности
находится от среднего выборки
в пределах 1,960 «стандартных отклонений выборочного среднего»
, равна 95%».
Значение вероятности, упомянутое в утверждении, имеет специальное название , который связан с уровнем значимости α (альфа) простым выражением уровень доверия =1 -α. В нашем случае уровень значимости α=1-0,95=0,05 .
Теперь на основе этого вероятностного утверждения запишем выражение для вычисления доверительного интервала :
где Z α/2 – стандартного нормального распределения (такое значение случайной величины z , что P (z >=Z α/2 )=α/2 ).
Примечание : Верхний α/2-квантиль определяет ширину доверительного интервала в стандартных отклонениях выборочного среднего. Верхний α/2-квантиль стандартного нормального распределения всегда больше 0, что очень удобно.
В нашем случае при α=0,05, верхний α/2-квантиль равен 1,960. Для других уровней значимости α (10%; 1%) верхний α/2-квантиль Z α/2 можно вычислить с помощью формулы =НОРМ.СТ.ОБР(1-α/2) или, если известен уровень доверия , =НОРМ.СТ.ОБР((1+ур.доверия)/2) .
Обычно при построении доверительных интервалов для оценки среднего используют только верхний α /2-квантиль и не используют нижний α /2-квантиль . Это возможно потому, что стандартное нормальное распределение симметрично относительно оси х (плотность его распределения симметрична относительно среднего, т.е. 0 ). Поэтому, нет нужды вычислять нижний α/2-квантиль (его называют просто α/2-квантиль ), т.к. он равен верхнему α /2-квантилю со знаком минус.
Напомним, что, не смотря на форму распределения величины х, соответствующая случайная величина Х ср распределена приблизительно нормально N(μ;σ 2 /n) (см. статью про ). Следовательно, в общем случае, вышеуказанное выражение для доверительного интервала является лишь приближенным. Если величина х распределена по нормальному закону N(μ;σ 2 /n), то выражение для доверительного интервала является точным.
Расчет доверительного интервала в MS EXCEL
Решим задачу.
Время отклика электронного компонента на входной сигнал является важной характеристикой устройства. Инженер хочет построить доверительный интервал для среднего времени отклика при уровне доверия 95%. Из предыдущего опыта инженер знает, что стандартное отклонение время отклика составляет 8 мсек. Известно, что для оценки времени отклика инженер сделал 25 измерений, среднее значение составило 78 мсек.
Решение : Инженер хочет знать время отклика электронного устройства, но он понимает, что время отклика является не фиксированной, а случайной величиной, которая имеет свое распределение. Так что, лучшее, на что он может рассчитывать, это определить параметры и форму этого распределения.
К сожалению, из условия задачи форма распределения времени отклика нам не известна (оно не обязательно должно быть нормальным ). , этого распределения также неизвестно. Известно только его стандартное отклонение σ=8. Поэтому, пока мы не можем посчитать вероятности и построить доверительный интервал .
Однако, не смотря на то, что мы не знаем распределение времени отдельного отклика , мы знаем, что согласно ЦПТ , выборочное распределение среднего времени отклика является приблизительно нормальным (будем считать, что условия ЦПТ выполняются, т.к. размер выборки достаточно велик (n=25)).
Более того, среднее этого распределения равно среднему значению распределения единичного отклика, т.е. μ. А стандартное отклонение этого распределения (σ/√n) можно вычислить по формуле =8/КОРЕНЬ(25) .
Также известно, что инженером была получена точечная оценка параметра μ равная 78 мсек (Х ср). Поэтому, теперь мы можем вычислять вероятности, т.к. нам известна форма распределения (нормальное ) и его параметры (Х ср и σ/√n).
Инженер хочет знать математическое ожидание μ распределения времени отклика. Как было сказано выше, это μ равно математическому ожиданию выборочного распределения среднего времени отклика . Если мы воспользуемся нормальным распределением N(Х ср; σ/√n), то искомое μ будет находиться в интервале +/-2*σ/√n с вероятностью примерно 95%.
Уровень значимости равен 1-0,95=0,05.
Наконец, найдем левую и правую границу доверительного интервала
.
Левая граница: =78-НОРМ.СТ.ОБР(1-0,05/2)*8/КОРЕНЬ(25)=
74,864
Правая граница: =78+НОРМ.СТ.ОБР(1-0,05/2)*8/КОРЕНЬ(25)=81,136
Левая граница: =НОРМ.ОБР(0,05/2; 78; 8/КОРЕНЬ(25))
Правая граница: =НОРМ.ОБР(1-0,05/2; 78; 8/КОРЕНЬ(25))
Ответ : доверительный интервал при уровне доверия 95% и σ =8 мсек равен 78+/-3,136 мсек.
В файле примера на листе Сигма известна создана форма для расчета и построения двухстороннего доверительного интервала для произвольных выборок с заданным σ и уровнем значимости .
Функция ДОВЕРИТ.НОРМ()
Если значения выборки
находятся в диапазоне B20:B79
, а уровень значимости
равен 0,05; то формула MS EXCEL:
=СРЗНАЧ(B20:B79)-ДОВЕРИТ.НОРМ(0,05;σ; СЧЁТ(B20:B79))
вернет левую границу доверительного интервала
.
Эту же границу можно вычислить с помощью формулы:
=СРЗНАЧ(B20:B79)-НОРМ.СТ.ОБР(1-0,05/2)*σ/КОРЕНЬ(СЧЁТ(B20:B79))
Примечание : Функция ДОВЕРИТ.НОРМ() появилась в MS EXCEL 2010. В более ранних версиях MS EXCEL использовалась функция ДОВЕРИТ() .
Вероятность того, что истинное значение измеряемой величины лежит внутри некоторого интервала, называется доверительной вероятностью , или коэффициентом надежности , а сам интервал - доверительным интервалом.
Каждой доверительной вероятности соответствует свой доверительный интервал. В частности, доверительной вероятности 0,67 соответствует доверительный интервал от до . Однако это утверждение справедливо только при достаточно большом числе измерений (более 10), да и вероятность 0,67 не представляется достаточно надежной - примерно в каждой из трех серий измерений y может оказаться за пределами доверительного интервала. Для получения большей уверенности в том, что значение измеряемой величины лежат внутри доверительного интервала, обычно задаются доверительной вероятностью 0,95 - 0,99. Доверительный интервал для заданной доверительной вероятности с учетом влияния числа измерений n можно найти, умножив стандартное отклонение среднего арифметического
.
на так называемый коэффициент Стьюдента. Коэффициенты Стьюдента для ряда значений и n приведены в таблице.
Таблица - Коэффициенты Стьюдента
| Число измерений n | Доверительная вероятность y | |||
| 0,67 | 0,90 | 0,95 | 0,99 | |
| 2,0 | 6,3 | 12,7 | 63,7 | |
| 1,3 | 2,4 | 3,2 | 5,8 | |
| 1,2 | 2,1 | 2,8 | 4,6 | |
| 1,2 | 2,0 | 2,6 | 4,0 | |
| 1,1 | 1,8 | 2,3 | 3,3 | |
| 1,0 | 1,7 | 2,0 | 2,6 |
Окончательно, для измеряемой величины y при заданной доверительной вероятности y и числе измерений n получается условие
Величину мы будем называть случайной погрешностью величины y.
Пример: см. лекцию №5 – ряд чисел.
Определим
При числе измерений – 45 и доверительной вероятности – 0,95 получим, что коэффициент Стьюдента приблизительно равен 2,15. Тогда доверительный интервал для данного ряда измерений равен 62,6.
Промахи(грубая погрешность) - грубые погрешности, связанные с ошибками оператора или неучтенными внешними воздействиями. Их обычно исключают из результатов измерений. Промахи, как правило, вызываются невнимательностью. Они могут возникать также вследствие неисправности прибора.
Доверительный интервал пришел к нам из области статистики. Это определенный диапазон, который служит для оценки неизвестного параметра с высокой степенью надежности. Проще всего это будет пояснить на примере.
Предположим, нужно исследовать какую-либо случайную величину, например, скорость отклика сервера на запрос клиента. Каждый раз, когда пользователь набирает адрес конкретного сайта, сервер реагирует на это с разной скоростью. Таким образом, исследуемое время отклика имеет случайный характер. Так вот, доверительный интервал позволяет определить границы этого параметра, и затем можно будет утверждать, что с вероятностью в 95% сервера будет находиться в рассчитанном нами диапазоне.
Или же нужно узнать, какому количеству людей известно о торговой марке фирмы. Когда будет подсчитан доверительный интервал, то можно будет, к примеру, сказать что с 95% долей вероятности доля потребителей, знающих о данной находится в диапазоне от 27% до 34%.
С этим термином тесно связана такая величина, как доверительная вероятность. Она представляет собой вероятность того, что искомый параметр входит в доверительный интервал. От этой величины зависит то, насколько большим окажется наш искомый диапазон. Чем большее значение она принимает, тем уже становится доверительный интервал, и наоборот. Обычно ее устанавливают равной 90%, 95% или 99%. Величина 95% наиболее популярна.
На данный показатель также оказывает влияние дисперсия наблюдений и Его определение основано на том предположении, что исследуемый признак подчиняется Это утверждение известно также как Закон Гаусса. Согласно ему, нормальным называется такое распределение всех вероятностей непрерывной случайной величины, которое можно описать плотностью вероятностей. Если предположение о нормальном распределении оказалось ошибочным, то оценка может оказаться неверной.
Сначала разберемся с тем, как вычислить доверительный интервал для Здесь возможны два случая. Дисперсия (степень разброса случайной величины) может быть известна либо нет. Если она известна, то наш доверительный интервал вычисляется с помощью следующей формулы:
хср - t*σ / (sqrt(n)) <= α <= хср + t*σ / (sqrt(n)), где
α - признак,
t - параметр из таблицы распределения Лапласа,
σ - квадратный корень дисперсии.
Если дисперсия неизвестна, то ее можно рассчитать, если нам известны все значения искомого признака. Для этого используется следующая формула:
σ2 = х2ср - (хср)2, где
х2ср - среднее значение квадратов исследуемого признака,
(хср)2 - квадрат данного признака.
Формула, по которой в этом случае рассчитывается доверительный интервал немного меняется:
хср - t*s / (sqrt(n)) <= α <= хср + t*s / (sqrt(n)), где
хср - выборочное среднее,
α - признак,
t - параметр, который находят с помощью таблицы распределения Стьюдента t = t(ɣ;n-1),
sqrt(n) - квадратный корень общего объема выборки,
s - квадратный корень дисперсии.
Рассмотри такой пример. Предположим, что по результатам 7 замеров была определена исследуемого признака, равная 30 и дисперсия выборки, равная 36. Нужно найти с вероятностью в 99% доверительный интервал, который содержит истинное значение измеряемого параметра.
Вначале определим чему равно t: t = t (0,99; 7-1) = 3.71. Используем приведенную выше формулу, получаем:
хср - t*s / (sqrt(n)) <= α <= хср + t*s / (sqrt(n))
30 - 3.71*36 / (sqrt(7)) <= α <= 30 + 3.71*36 / (sqrt(7))
21.587 <= α <= 38.413
Доверительный интервал для дисперсии рассчитывается как в случае с известным средним, так и тогда, когда нет никаких данных о математическом ожидании, а известно лишь значение точечной несмещенной оценки дисперсии. Мы не будем приводить здесь формулы его расчета, так как они довольно сложные и при желании их всегда можно найти в сети.
Отметим лишь, что доверительный интервал удобно определять с помощью программы Excel или сетевого сервиса, который так и называется.
