Майкл Х. Херцог , Грегори Фрэнсис , Аарон Кларк - Статистика и планирование эксперимента для непосвященных: Как отучить статистику лгать

проявляется. Сообщать только об успешных результа‑
тах чревато проблемами, потому что опубликованный размер эффек‑
та может оказаться завышенным, и это указывает на существование
эффекта, которого на самом деле нет. Слишком высокий коэффициент
воспроизводимости – признак наличия какой-то проблемы в процес‑
се сбора данных, анализа, выдвижения теории или публикации.
Чтобы продемонстрировать последствия такого рода интерпре‑
тации, рассмотрим три серии модельных результатов, показанные
в табл. 11.1. Каждый смоделированный набор данных анализировал‑
ся с помощью двустороннего t-критерия. В основе каждой серии из
пяти исследований лежали по-разному смоделированные экспери‑
менты. В одной серии (корректная проверка) размер эффекта в гене‑
ральной совокупности был равен 0.8. Размеры выборок, n1 = n2, слу‑
чайно выбирались из диапазона от 10 до 30. Все пять экспериментов
дали значимые результаты, которые были полностью опубликованы.

152



Часть III. Метаанализ и кризиc науки

Таблица 11.1. Сводная статистика для трех серий из пяти модельных экспериментов
Серия A
n1 = n2

t

p

Серия B

Серия C

g

n1 = n2

t

p

g

n1 = n2

0.01

t

p

g

10

2.48 0.03

1.06

21

2.67

0.81

16

2.10 0.04 0.72

28

2.10 0.04

0.55

27

4.72 --">