Мета-анализ
Мета-анализ является одним из видов анализа данных, в котором результаты нескольких исследований объединены и проанализированы как результаты одного крупного исследования.
Например, результаты ганцфельд-экспериментов сильно менялись, что показало, как сильно результаты зависят от того, кто проводит эксперимент. Между 1974 и 1981 годами, около 42 ганцфельд-экспериментов опубликовали свои результаты. Неизвестно, сколько еще экспериментов было сделано, но не опубликовано. Чарльз Хонортон утверждал, что 55% из опубликованных исследований показали положительные доказательства существования чего-то интересного, даже паранормального. То есть, чуть больше половины исследований получили статистически значимые результаты, которые вряд ли были случайными.
В 1981 или 1982 году, Хонортон послал все опубликованные исследования скептику Рей Хайману, чтобы тот провел их мета-анализ. Хайман пришел к выводу, что данные не показывают существования сверхъестественного, преимущественно вследствие многих недостатков, которые он нашел в экспериментах. Он исключил данные 22 исследований, сделанных 8 экспериментаторами (746 испытаний, на долю которых приходилось 48% данных). Он рассчитал коэффициент успеха 38% для всех исследований, но с поправками на ошибки выборки и качество исследования, итоговый коэффициент получился всего 31%.
По словам Хаймана, 58% исследований использовали неадекватные процедуры рандомизации. Он также обнаружил проблемы с утечкой сенсорной информации (например, помещения не были звуконепроницаемыми, записи могли быть услышаны экспериментаторами), а также со статистической обработкой результатов. Он пишет:
Насколько я знаю, я был первым человеком, который провел мета-анализ парапсихологических данных. Я сделал мета-анализ оригинальных ганцфельд-экспериментов частью моей общей критики этих экспериментов. Мой анализ показал, что некоторые недостатки, особенно качество рандомизации, коррелируют с результатами. Успешные результаты связаны с неправильной методологией. В ответ на мою критику, Чарльз Хонортон сделал свой ??мета-анализ тех же данных. Он тоже отметил недостатки, но он придумал свои «недостатки», которые отличаются от моих. В его анализе качество исследования не коррелировало с результатом. Это произошло потому, что Хонортон нашел больше недостатков в неудачных экспериментах, чем я. С другой я нашел больше недостатков в успешных экспериментах, чем Хонортон. Мы оба предполагаем, что были объективными и беспристрастными в оценке качества экспериментов. Тем не менее, мы оба закончили с результатами, которые соответствуют нашим убеждениям. ( Хайман 1996 )
Пятнадцать исследований появилась в рецензируемых журналах, 20 стали тезисами докладов на заседаниях Парапсихологических ассоциаций, пять были опубликованы как монографии, а также два стали дипломными работами по биологии. Когда Хонортон делал свой мета-анализ, он отобрал 28 из этих исследований. Карл Сарджент провел 9 исследований; Хонортон сделал 5; Джон Палмер сделал 4; Скотт Рого сделал 4; Уильям Брод сделал 3 и Рекс Стэнфорд сделал 3. На исследования Сарджента приходилось около 1 / 3 данных.
Хонортон сделал вывод, что вероятный результат корректной идентификации экспериментальных данных составил не 25%, а 34%, т.е. полученные результаты были статистически значимыми и не объяснялись простым совпадением или случайностью.
Тем не менее, Хайман поднимает важный момент мета-анализа: верующий и скептик оценивают исследования совершенно по-разному, хотя оба думают, что они были справедливыми и беспристрастными. Хонортон все же согласился с Хайманом, что были некоторые проблемы с некоторыми исследованиями и что никакие серьезные выводы не должны делаться до проведения итоговых, детально проработанных и контролируемых исследований.
Хайман не считал, что успешные данные могут быть объяснены «эффектом картотеки», но он мог быть неправ. Не существует стандартного метода для определения того, сколько исследований должны быть исключены из мета-анализа вследствие некорректного сбора данных. Разные статистики применяют разные формулы с существенно различным результатом. Вопроса об «эффекте картотеки» можно было бы избежать, просто делая больше одного эксперимента в жестких условиях.
Парапсихолог Дин Радин очень любит мета-анализ. В своей книге The Conscious Universe он использует результаты мета-анализа, чтобы продемонстрировать существование сверхъестественных способностей. Относительно ганцфельд-экспериментов он утверждает, что результаты Хонортона были успешными не вследствие «эффекта картотеки». Хонортон сделал собственный и “сделал вывод, что должно быть 423 незарегистрированных исследований с нулевым результатом в среднем, чтобы обнаружить эффект «подгона» результатов в его выборке из 28 экспериментов… то есть более 15 исключенных результатов для одного эксперимента” (Радин, 1997). Тем не менее, еще один способ анализа данных показывает, что нужно только 62 исключения, что составляет лишь чуть более двух неопубликованных результатов для каждого исследования (Stokes 2001). Дело в том, что практически любой статистической формулой можно спекулировать, чтобы сделать вывод о том, как много исследований должно получить нулевой результат, прежде чем мета-анализ признается недействительным. Стоит отметить, что в 1975 году Американская парапсихологическая ассоциация утвердила официальную политику противодействия избирательным отчетам только с положительными результатами.
Сьюзен Блэкмор посетила лабораторию Карла Сарджента и сказала следующее:
Эти эксперименты, которые так красиво были оформлены в печати, на самом деле были открыты для мошенничества или ошибки в нескольких направлениях, и более того, пока я была там, я обнаружила несколько ошибок и сбоев относительно методологии эксперимента. Я пришла к выводу, что опубликованные работы дали несправедливое впечатление об экспериментах, и что результаты не могли быть использоваться в качестве доказательств существования сверхъестественных способностей. В итоге экспериментаторы и я опубликованные разные мнения относительно положения дел. (Blackmore 1987; Харли и Matthews 1987; Сарджент, 1987).
Я бы не стала упоминать этот удручающий инцидент, если бы не одно обстоятельство. Все кембриджские данные в обзоре Бема и Хонортона были не замечены. По сравнению с 28 исследованиями, девять из лаборатории Кембриджа показали больший эффект, чем из любой другой лаборатории и были вторыми по успешности после лаборатории самого Хонортона. Бем и Хонортон отметили, что одна из лабораторий сделала девять исследований, но не сказали, какая именно. Ни слова сомнения, ни ссылки на мои исследования, и искушенный читатель может догадаться, какие были споры относительной этой трети исследований. (” What can the paranormal teach us about Consciousness ” ? 2001)
Физик Victor Stenger называет мета-анализы в области парапсихологии “сомнительными процедурами … в которых статистически незначимые результаты многих экспериментов преподносятся как один контролируемый эксперимент» («Meta-Analysis and the Filedrawer Effect»). Теоретически, можно сделать сто экспериментов с малой выборкой, и все будут с отрицательным результатом, в то время как мета-анализ тех же данных будет давать результаты, которые являются статистически значимыми. Мы должны помнить, что статистическая значимость не означает важность в научном отношении .
Смотрите также:
Перейти на главную