Предположим, вы тестируете антидепрессант. На самом деле он бесполезен, но вы пока этого не знаете. Если провести десять исследований (особенно небольших), результаты могут слегка разниться: пять покажут отсутствие эффекта; в трех окажется, что препарат вызывает ухудшение, а два продемонстрируют небольшое улучшение. Фактически препарат не работает, но чисто случайно разные испытания дают разные результаты.
А теперь вспомним главу 15: поскольку новый, интересный (а для производителя и выгодный) результат – «лекарство работает», те исследования, в которых препарат окажется эффективным, скорее будут опубликованы в научном журнале. Поэтому может случиться так, что результаты восьми работ, в которых обнаружили отрицательный или нулевой эффект, исследователь отложит в долгий ящик. И если кто-то захочет сделать обзор, то найдет только две опубликованные статьи с выводом, что антидепрессант работает. И тогда врачи могут начать его прописывать, потому что его эффективность, по-видимому, подтверждена научно.
Так и бывает в реальности, и это приводит к реальным проблемам и убивает реальных людей. Одно исследование показало, что в 94 % опубликованных статей об испытаниях антидепрессантов обнаруживаются положительные результаты, но когда учитываются и неопубликованные результаты, процент снижается до 51.
У этой ошибки есть и второй уровень: если вы читаете о научном исследовании в СМИ, значит, его сочли достаточно интересным для новости. «Новое исследование показало, что подгоревший тост на самом деле не вызывает рака» или «Фейсбук не засоряет детям мозги, обнаружили ученые» – вряд ли вызовут большой ажиотаж. Если вы прочли в газете о научном исследовании, вспомните, что оно уже выполнило два боевых задания и вернулось на базу. Это не значит, что оно неверное, – это просто повод проявить бдительность: вы же не знаете, сколько других исследований на эту тему были сбиты.