Библиометрия – плохой инструмент оценки научного исследования

Библиометрия призвана через цитирования показать актуальность научных исследований, но нобелевские лауреаты призывают бойкотировать высокорейтинговые журналы. Почему?

Сегодня оценка ученых все больше определяется уровнем престижности их публикаций. Эта политика установлена на государственном уровне и была предложена для роста исследовательской активности, а результатом такой активности является научная публикация. Вроде, все логично. Библиометрия утверждает: рост количества исследований ведет к росту числа публикаций, рост числа публикаций – к количеству цитирований.

Но такой подход пагубен для науки. Любые библиометрические данные, тем более импакт-фактор журналов, в которых ученые публикуются, не могут служить критерием эффективности исследований или ценности публикаций. Невоспроизводимость результатов исследований стала обычным явлением. Растет количество статей, отзываемых из журналов ввиду допущенных ошибок или фальсификаций. Отзыв статей принял такие масштабы, что разработана база данных Retraction Watch, которая уже содержит несколько десятков тысяч записей об отозванных статьях. Стремление журналов повысить свой импакт-фактор приводит к тому, что статьи оцениваются не по их научному потенциалу и новизне, а по перспективе их цитируемости, в результате чего пионерские статьи зачастую отвергаются.

Евгений Свердлов (доктор химических наук, профессор, академик РАН) неоднократно публично выступал на эту тему и достаточно хорошо изучил эту проблему. Он утверждает, что любые библиометрические данные, в том числе цитируемость отдельных статей, в качестве независимой меры оценки научной значимости работ ученого не могут служить критерием эффективности исследований или ценности публикаций. Проблема корректного использования этих данных уже длительное время обсуждается во всем мире. Большинство крупных ученых либо выражают обоснованные сомнения в правильности их использования в качестве независимого критерия, либо отвергают вообще. При несомненной ценности библиометрических данных как вспомогательного средства оценки они не могут заменить экспертных заключений, основанных на анализе содержания статьи, ее вклада в развитие конкретной области знания и вклада оцениваемого автора в материал, представленный в публикации.

Один из основателей библиометрии Юджин Гарфилд выражает согласие с основными выводами Е. Свердлова. Невоспроизводимость статей стала довольно обычным явлением, и в 2015 году журнал Nature опубликовал специальный выпуск, посвященный этой проблеме: «Наука развивается быстрее, когда люди тратят меньше времени на то, чтобы стремиться к ложным целям. Ни одна исследовательская статья никогда не может считаться последним словом, но появляется слишком много таких, которые не заслуживают дальнейшего изучения. Объяснения включают повышенный уровень внимания, сложность экспериментов и статистики и давление на исследователей. Журналы, ученые, учреждения и финансирующие организации участвуют в решении проблемы воспроизводимости. Nature предпринял существенные шаги для повышения прозрачности и надежности того, что мы публикуем, и для повышения информированности в научном сообществе. Мы надеемся, что статьи, содержащиеся в этом выпуске, помогут в этом».

Давление, вынуждающее публиковаться, понижает качество работы

Считается, что если больше – это хорошо, то тенденции в науке благоприятны. Число публикаций продолжает расти экспоненциально. Одна из вероятных причин роста ссылок — невероятные возможности поиска, которые теперь предоставляет Интернет. Казалось бы, это хорошая новость. Но что если больше – это плохо?. В 1963 году физик и историк науки Дерек де Солла Прайс посмотрел на тенденции роста в исследовательской деятельности и сделал вывод, что научные достижения обеспечиваются очень небольшим процентом исследователей, и поэтому число ведущих ученых будет расти гораздо медленнее, чем количество просто хороших, и это даст «еще большее преобладание исследователей, способных писать просто научные статьи, но не умеющих писать статьи выдающиеся.

Бегли и Иоаннидиса (известные специалисты в области статистической обработки результатов экспериментов) пишут, что оценки частоты невоспроизводимости исследований варьируют от 75% до 90%. При этом, исследователи для публикации часто выбирают наилучший эксперимент, а не суммируют полный набор данных. В 2016 году Nature провел опрос более 1500 ученых относительно невоспроизводимости результатов. Указывалась причина опроса: более чем 70% исследователей пытались и не смогли воспроизвести эксперименты, опубликованные другими исследователями. В связи с этим было задано несколько вопросов. Среди них: существует ли кризис воспроизводимости (52% ответили «да, сильный»; 38% — «да, незначительный») и какие факторы играют роль в невоспроизводимости (публикация выборочных данных >60%; вынужденность публикации >60%; низкая статистическая сила или плохой статистический анализ >55%).

Фальсификации

Среди многих причин невоспроизводимости последнее время все большее место, особенно в высокорейтинговых журналах, занимают фальсификации, которые, при их обнаружении, приводят к отзыву статей. Плохо то, что многие подложные результаты остаются необнаруженными из-за сложности и высоких издержках проверок. В Nature в 2012 году выразили тревогу не относительно того, что крупные проекты дают мало информации, поглощая огромные средства, а относительно получаемых при этом данных, качество которых вызывает много сомнений. Никогда не было так легко получать высокоимпактные ложнопозитивные результаты, как в современном мире, когда массивные сложные данные дешевы и доступны. Много экспериментов в масштабах применения Big Data дает реальные результаты, которые было бы невозможно выявить путем исследований, направляемых гипотезой. Тем не менее охота за «сюрпризами» без должных мер предосторожности может легко давать богатый урожай артефактов и приводить к высокоимпактным статьям, основанным не более чем на систематическом экспериментальном шуме.

Бойкот высокорейтинговых журналов

Рэнди Шекман, бывший главный редактор Proceedings of the National Academy of Sciences, лауреат Нобелевской премии 2013 года по физиологии и медицине, объявил, что он больше не будет отправлять статьи в «роскошные» научные журналы, потому что они корродируют процесс публикации: «Эти журналы агрессивно курируют свои бренды, более способствуя продажам подписок, чем стимуляции наиболее важных исследований». Подобно модным дизайнерам, которые выпускают в продажу ограниченное количество сумочек или костюмов, эти журналы искусственно ограничивают число статей, которые они принимают. Эксклюзивные бренды затем продаются с помощью трюка под названием «импакт-фактор».

«Какая чушь!» и библиометрия

А. Гумбольдт сформулировал знаменитую триаду: всякая истина проходит в человеческом уме три стадии: сначала – «какая чушь!»; затем – «в этом что-то есть»; наконец – «кто же этого не знает!». Публикации и гранты, хотя и с трудом, всегда были возможны на стадии «в этом что-то есть». И, скорее всего, даже на этой стадии сегодня престижные журналы не рискнут публиковать такие статьи. А ведь великие открытия начинались со стадии «какая чушь». Мы видим в России, как создается то, что Шекман назвал пузырями. Одни и те же исследователи, которые нашли способы опубликовать свои статьи в престижных журналах, у нас получают гранты, что способствует новым публикациям и, следовательно, новым грантам и т. д. Создается «пузырь», который часто не зависит от реальной значимости проблемы и который, возможно, отвлекает деньги от пионерских исследований, не набравших еще большой публикационной силы, то есть не вошедших в Гумбольдтовскую стадию «в этом что-то есть». Шекман далеко не единственный, кто обращает внимание на проблему конфронтации между наукой и престижностью публикации. Но соблазн публикации слишком велик. Публикация в престижном журнале может принести хорошую должность, приглашения на конференции, гранты и денежные вознаграждения.

Исследователи утверждают, что публикация в престижных журналах может помочь сделать карьеру. Издательский мир быстро меняется, и ведущие издания сталкиваются с растущей конкуренцией. Движение за публикации с открытым доступом набирает скорость. В последние годы появилось множество журналов с открытым доступом. Эти журналы привлекают все большую долю представлений, угрожая популярности ведущих журналов. Большинство ученых и многие руководители науки все это понимают. Однако проще двигаться по пути формальных оценок, чем найти способы выработки объективных критериев оценки качества работ. В результате импакт-фактор стал единственным или основным критерием оценки. Хотя, если говорить об использовании библиометрических показателей, более корректным является использование индекса цитирования, при этом он тоже имеет свои недостатки. В результате люди, которые занимаются очень важными, но по тем или иным причинам непубликуемыми на данном этапе работами, оказываются обойденными.

По материалам Indicator.ru