Исследование, опубликованное в журнале с открытым доступом BMJ Open, также показало, что рецензенты, предложенные авторами, с большей вероятностью рекомендуют принятие, чем те, которые были выбраны другими способами.Суждение о научной обоснованности исследовательской работы обычно основывается на рекомендациях двух или более экспертов в данной области, которые независимо оценивают сделанные научные утверждения.
Чтобы изучить качество отчетов коллегиальных обзоров с использованием различных моделей, было проведено сравнение двух журналов из серии BMC от BioMed Central — BMC Infectious Diseases, который работает в рамках модели открытой коллегиальной оценки, и BMC Microbiology, который работает по модели простого слепого анализа.В рамках открытого рецензирования все стороны знают личности участников, отчеты рецензентов подписываются, и, если рукопись принимается, отчеты рецензентов сопровождают публикацию. При одинарном слепом закрытом рецензировании рецензенты анонимны, а отчеты не публикуются.
Два журнала серии BMC различаются по своим моделям рецензирования, но в остальном схожи в том, что все редакционные процессы одинаковы, у них одинаковый уровень принятия и порог, и они охватывают схожие темы. Был также исследован третий журнал, Journal of Inflamutation, поскольку он перешел от открытого рецензирования к слепому рецензированию, что позволило провести дальнейшее исследование влияния изменения процесса рецензирования на качество отчетов в одном журнале.Для журналов серии BMC было проведено сравнение 200 отчетов рецензентов из каждого журнала.
Каждый отчет рецензента независимо оценивался на предмет качества двумя членами редакционной группы BioMed Central с использованием инструмента качества обзора, известного инструмента для этого типа оценки. Это включало оценку каждого отчета о рецензировании по таким элементам, как обсуждение вопроса исследования, определение сильных и слабых сторон методов и конструктивность комментариев рецензентов.После статистического анализа всех оценок BMC Infectious Diseases и BMC Microbiology было обнаружено, что качество экспертной оценки отчетов, представленных в рамках модели открытой экспертной оценки, улучшилось на 5%, что является статистически значимым результатом.
Аналогичное рейтинговое исследование было проведено для журнала «Воспаление», в котором сравнивались 200 отчетов, представленных в течение трех лет, когда журнал работал в рамках открытого экспертного обзора, и 200 отчетов за три года после перехода на одинарное слепое рецензирование. Однако это не выявило существенной разницы в качестве отчета рецензента в этом случае, что, по мнению авторов, может быть результатом действия других переменных, таких как смена редакции.
Данные опросов авторов журналов серии BMC, которые легли в основу настоящего исследования, показывают, что авторы сочли комментарии открытого рецензирования более полезными, чем комментарии одинарного слепого рецензирования. Авторы открытого рецензируемого журнала BMC Infectious Diseases также более положительно оценили большинство других аспектов редакционного процесса.
Для журнала «Воспаление» исследование не обнаружило статистически значимых различий между опросами, предоставленными авторами рукописей, прошедших открытое или одинарное слепое рецензирование, хотя это может быть связано с небольшим количеством доступных ответов на опрос.Исследование также показало, что во всех трех журналах рецензенты, предложенные автором, как правило, рекомендовали принять рукопись чаще, чем рецензенты, не предложенные автором. Рекомендации рецензентов, не предложенных автором, оказались лучшим предиктором того, была ли рукопись принята, чем рецензенты, предложенные автором. Авторы предполагают, что это может указывать на то, что редакторы придают большее значение этим обзорам, будь то подсознательно или сознательно.
Мария Ковальчук, ведущий автор, редактор биологии BioMed Central группы Research Integrity и соредактор Research Integrity and Peer Review, сказала: «Как сторонники открытости, мы рады обнаружить, что после анализа отчетов рецензентов в открытом доступе экспертная оценка сопоставима или даже выше по качеству, чем у более устоявшейся модели одинарной слепой экспертной оценки. Однако мы ценим, что наши результаты не подрывают одинарную слепую модель коллегиальной оценки. Хотя мы также обнаружили, что качество отчетов, написанных рецензентами, предложенными авторами, похожи на отчеты других рецензентов, они, как правило, рекомендуют принять их чаще ».