Исследование, проведенное учеными Австралийского национального университета (ANU), является наиболее полным исследованием типа предвзятости публикации, называемого p-hacking.
P-hacking происходит, когда исследователи сознательно или бессознательно анализируют свои данные несколько раз или разными способами, пока не получат желаемый результат. Если р-хакинг является обычным явлением, преувеличенные результаты могут привести к неверным выводам, даже если доказательства получены из нескольких исследований.
«Мы обнаружили доказательства того, что р-хакинг происходит повсюду в науках о жизни», — сказала ведущий автор доктор Меган Хед из Исследовательской школы биологии ANU.
В исследовании использовался интеллектуальный анализ текста для извлечения p-значений — числа, которое указывает, насколько вероятно, что результат возникает случайно, — из более чем 100 000 исследовательских работ, опубликованных по всему миру, охватывающих многие научные дисциплины, включая медицину, биологию и психологию.
"Многие исследователи не осознают, что определенные методы могут сделать некоторые результаты более важными, чем они есть на самом деле.
Они просто искренне рады найти что-то новое и интересное », — сказал доктор Хед.
"Я думаю, что давление с целью публикации является одним из факторов, влияющих на это предубеждение. Как ученых о нас судят по тому, сколько у нас публикаций и по качеству научных журналов, в которых они публикуются.
"Журналы, особенно ведущие, с большей вероятностью будут публиковать эксперименты с новыми интересными результатами, что создает стимул для получения результатов по запросу."
Доктор Хед сказал, что в ходе исследования было обнаружено большое количество p-значений, которые лишь немногим превышали традиционный порог, который большинство ученых называют статистически значимым.
«Это говорит о том, что некоторые ученые корректируют свои экспериментальные планы, наборы данных или статистические методы до тех пор, пока они не получат результат, который пересекает порог значимости», — сказала она.
"Они могут посмотреть на свои результаты до завершения эксперимента или изучить свои данные с помощью множества различных статистических методов, не осознавая, что это может привести к смещению."
Проблема p-hacking заключается в том, что он может помешать формированию точных научных выводов, даже когда ученые просматривают доказательства, комбинируя результаты нескольких исследований.
Например, если некоторые исследования показывают, что конкретный препарат эффективен при лечении гипертонии, но другие исследования показывают, что он неэффективен, ученые проанализируют все данные, чтобы прийти к общему выводу. Но если бы было получено достаточно результатов, лекарство выглядело бы более эффективным, чем оно есть на самом деле.
«Мы изучили вероятность того, что эта предвзятость имеет место в нашей собственной специальности, в эволюционной биологии, и, хотя р-хакинг имел место, он не был достаточно распространен, чтобы радикально изменить общие выводы, которые можно было бы сделать на основе исследования», — сказала она.
"Но большее понимание p-hacking и его опасностей важно, потому что последствия p-hacking могут быть разными в зависимости от вопроса, который вы задаете."