Что такое статистическая значимость результата?
WiseLab · Обновлено
Статистическая значимость проверяет, насколько данные несовместимы с заранее заданной нулевой гипотезой; она не равна размеру эффекта, его бизнес-ценности или вероятности того, что нулевая гипотеза верна.
Как считать и интерпретировать
До теста задайте нулевую и альтернативную гипотезы, основной показатель, уровень значимости alpha и минимально полезный эффект. p-value — вероятность получить при верной нулевой гипотезе статистику не менее экстремальную, чем наблюдаемая. Если p-value ≤ alpha, результат считают статистически значимым по заранее выбранному правилу; это не вероятность верности нулевой гипотезы и не размер эффекта. После этого смотрите доверительный интервал, величину эффекта и экономический смысл.
Как применить
- До запуска зафиксировать гипотезу, основной показатель, alpha и минимально полезный эффект.
- Набрать запланированную выборку без выборочного досмотра и остановки по промежуточному p-value.
- Сопоставить p-value с alpha и отдельно оценить доверительный интервал, величину эффекта и бизнес-результат.
На примере
Результат может быть статистически значимым, но слишком малым, чтобы окупить внедрение.
Источники
Подготовлено с помощью ИИ по указанным источникам. Примеры с условными данными используются для объяснения и не описывают результаты клиентов.