Проверка гипотез - это распространенный метод построения выводов о популяции на основе статистических данных из выборки.
В качестве примера предположим, что кто-то говорит, что в определенное время в штате Массачусетс средняя цена галлона обычного неэтилированного газа составляла 1,15 доллара. Как вы могли определить истинность заявления? Вы могли бы попытаться найти цены на каждой заправке в штате в то время. Такой подход будет окончательным, но он может быть трудоемким, дорогостоящим или даже невозможным.
Более простым подходом было бы найти цены на небольшом количестве случайно выбранных АЗС по всему штату, а затем вычислить среднее значение выборки.
Средние значения выборки отличаются друг от друга из-за случайной изменчивости в процессе отбора. Предположим, что ваш образец среднего окажется $1,18. Является ли разница в 0,03 доллара артефактом случайной выборки или значительным доказательством того, что средняя цена галлона газа на самом деле была больше 1,15 доллара? Проверка гипотез - статистический метод принятия таких решений.
Этот пример показывает, как использовать тестирование гипотез для анализа цен на газ, измеренных в штате Массачусетс в течение двух отдельных месяцев.
В этом примере используются данные цены газа в файле. gas.mat. Файл содержит две случайные выборки цен на галлон газа вокруг штата Массачусетс в 1993 году. Первый образец, price1, содержит 20 случайных наблюдений вокруг штата в один день в январе. Второй образец, price2, содержит 20 случайных наблюдений вокруг штата через месяц.
load gas
prices = [price1 price2];В качестве первого шага можно проверить предположение о том, что образцы получены из нормальных распределений. Нормальный график вероятности даёт быстрое представление.
normplot(prices)
Оба рассеяния приблизительно следуют по прямым линиям через первый и третий квартили образцов, указывая на приблизительные нормальные распределения. Февральский образец (правая линия) показывает небольшой отход от нормальности в нижнем хвосте. Сдвиг среднего с января на февраль очевиден. Критерий гипотезы используется для количественной оценки критерия нормальности. Поскольку каждый образец относительно мал, рекомендуется тест Лиллиефорса.
lillietest(price1)
ans = 0
lillietest(price2)
ans = 0
Уровень значимости по умолчанию lillietest составляет 5%. Логический 0, возвращаемый каждым тестом, указывает на отказ отклонить нулевую гипотезу о том, что выборки распределены нормально. Эта неудача может отражать нормальность в популяции или может отражать отсутствие убедительных доказательств против нулевой гипотезы из-за небольшого размера выборки.
Теперь вычислите средство выборки.
sample_means = mean(prices)
sample_means = 1×2
115.1500 118.5000
Вы можете проверить нулевую гипотезу о том, что средняя цена по штату в день январской выборки составляла 1,15 доллара. Если вы знаете, что стандартное отклонение в ценах по всему штату исторически и последовательно составляло 0,04 доллара, то z-тест уместен.
[h,pvalue,ci] = ztest(price1/100,1.15,0.04)
h = 0
pvalue = 0.8668
ci = 2×1
1.1340
1.1690
Логический выход h = 0 указывает на отказ отклонить нулевую гипотезу при уровне значимости по умолчанию 5%. Это является следствием высокой вероятности при нулевой гипотезе, обозначенной значением p, наблюдения значения как экстремального или более экстремального z-статистики, вычисленного из выборки. 95% доверительный интервал в среднем [1.1340 1.1690] включает предполагаемое среднее население в $1,15.
Дает ли более поздняя выборка более убедительные доказательства отказа от нулевой гипотезы средней цены по всему штату в 1,15 доллара в феврале? Сдвиг, показанный на графике вероятности, и разность в вычисленных средствах выборки предполагают это. Сдвиг может свидетельствовать о значительных колебаниях на рынке, что вызывает вопросы относительно обоснованности использования исторического стандартного отклонения. Если нельзя предположить известное стандартное отклонение, более подходящим является t-тест.
[h,pvalue,ci] = ttest(price2/100,1.15)
h = 1
pvalue = 4.9517e-04
ci = 2×1
1.1675
1.2025
Логический выход h = 1 указывает на отклонение нулевой гипотезы при уровне значимости по умолчанию 5%. В этом случае 95% доверительный интервал в среднем не включает предполагаемое среднее население 1,15 доллара.
Возможно, вы захотите изучить изменение цен чуть ближе. Функция ttest2 тесты, если две независимые выборки получены из нормальных распределений с равными, но неизвестными стандартными отклонениями и одним и тем же средним значением, против альтернативы, что средства неравны.
[h,sig,ci] = ttest2(price1,price2)
h = 1
sig = 0.0083
ci = 2×1
-5.7845
-0.9155
Нулевая гипотеза отвергается на уровне значимости по умолчанию 5%, а доверительный интервал на разнице средств не включает гипотетическое значение 0. График с надрезом является еще одним способом визуализации сдвига.
boxplot(prices,1)
h = gca;
h.XTick = [1 2];
h.XTickLabel = {'January','February'};
xlabel('Month')
ylabel('Prices ($0.01)')
На графике показано распределение образцов вокруг их медианов. Высоты вырезов в каждом боксе вычисляются так, чтобы параллельные боксы имели неперекрывающиеся вырезы, когда их медианы отличаются на уровне значимости по умолчанию 5%. Вычисление основано на предположении о нормальности в данных, но сравнение является достаточно надежным для других распределений. Параллельные графики обеспечивают своего рода визуальный тест гипотез, сравнивая медианы, а не средства. Сюжет выше, по-видимому, едва отвергает нулевую гипотезу равных медианов.
Непараметрический критерий ранговой суммы Вилькоксона, реализуемый функцией ranksum, может использоваться для количественной оценки теста равных медианов. Он проверяет, происходят ли два независимых образца из одинаковых непрерывных (не обязательно нормальных) распределений с равными средами, против альтернативы, что они не имеют равных медианов.
[p,h] = ranksum(price1,price2)
p = 0.0095
h = logical
1
Тест отвергает нулевую гипотезу о равных медианах на уровне значимости по умолчанию 5%.
boxplot | lillietest | normplot | ttest | ttest2 | ztest