История с «Корчевателем» не пошла впрок. «Вестник Томского государственного университета (Философия, социология, политология)» опубликовал статью «Дарвинизм» (*.pdf), явно сгенерированную компьютером. Однако, в отличие от случая с «Журналом научных публикаций аспирантов и докторантов», исключенным из списка ВАК, это не имело для журнала никаких административных последствий.

Напомним, что в сентябре-октябре 2008 года получила широкую известность история с публикацией в псевдонаучном «Журнале научных публикаций аспирантов и докторантов» (ЖНПАД) статьи «Корчеватель: алгоритм типичной унификации точек доступа и избыточности». Журнал входил по ряду дисциплин в рекомендательный список ВАК, и опубликованные в нем статьи предоставляли их авторам право подачи документов на защиту диссертации. После скандала, когда оказалось, что опубликованная статья была сгенерирована компьютером, но прошла научное "рецензирование", журнал исключили из списка ВАК. Само же слово «Корчеватель» стало в научной среде нарицательным.

Целью авторов проведенного научного розыгрыша было продемонстрировать низкий уровень рецензирования в журналах из списка ВАК. В генерации псевдонаучного текста участвовала программа SCIgen, созданная группой студентов Массачусетского технологического института (США), а также российская программа ЭТАП-3, разработанная в Лаборатории компьютерной лингвистики ИППИ РАН. Подробности этой истории освещались на «Полит.ру» и были обнародованы в газете «Троицкий вариант» (№13, 2008).

После этого случая  Рособрнадзор совместно с Комиссией РАН по борьбе с лженаукой создали специальную рабочую группу, которой было поручено провести аналогичные проверки (путем рассылки «для публикации» сгенерированных компьютером квазинаучных текстов) всех научных журналов списка ВАК, являющихся академическими или университетскими изданиями.

Оказалось, что из первых 50 проверенных журналов ВАКовского списка теста на научность не прошел лишь один: «Вестник Томского государственного университета (философия, социология, политология)». Он опубликовал статью «Дарвинизм», содержащую набор псевдонаучных высказываний такого содержания:

«1. Сатана. Надо было начать разговор о Дарвине прямо с Сатаны. Прямее дорога» (С. 89);

«Скажу по секрету: зубы, их первое появление и превращение в челюсть лично для меня − самый непроходимый момент, опровержение дарвинизма. И сами дёсна. Они же из другого вещества, нежели мясо, которым набито наше тело. Это вещество твердое, почти как кость, а когда зуб вырвут, оно рыхлое и кровь течет. Как это все на эволюционном пути в рот существам залетело и там закрепилось? Эволюционно. Не было, не было, а потом постепенно стало. Ерунда, чепуха. Детский лепет» (С. 104);

 «Какие-то «учёные» (огурцы мочёные)…Что про этих футурологов мочёных сказать? Дарвинисты!»  (С. 107);

«И боюсь даже произнести слово «мозг». Два килограмма весом несимпатичного вещества. Похож на кучу дерьма. Но не пахнет, думает!» (С. 108);

 «И чего я такой бешеный? Что это я так разволновался из-за дарвинизма? Тоже мне цацу нашёл. Ну, не цаца, а бяка, что ж печалиться о том?» (C. 111).

Судьба «Вестника Томского университета» и его редколлегии во главе с проф. С.С.Аванесовым висела на волоске. Журнал спасли юридические тонкости. Дело в том, что программа SCIgen, использованная для «Корчевателя», может генерировать тексты только в области computer science. Поэтому рабочая группа Рособрнадзора и  Комиссии РАН по борьбе с лженаукой воспользовалась для создания псевдонаучных текстов в различных областях науки другой программой – РОДОС, порождающей ерунду путем независимого комбинирования мелких фрагментов чужих исходных текстов. Программа была разработана группой аспирантов и студентов Московского Физико-технологического института и Института информационных проблем РАН.

Для создания текстов на темы биологии и эволюции компьютер использовал отдельные цитаты с креационистских сайтов и форумов русскоязычного Интернета (antidarvin.ru и т.п.). В результате у ряда членов рабочей группы возникли опасения: достаточно ли мелко были нарезаны исходные тексты, чтобы конечный продукт можно было считать заведомой бессмыслицей? Рабочей группе не удалось найти юридически точной формулировки.

Это не стало бы серьезным препятствием к принятию административных мер, если бы не недавнее обращение главного редактора «Журнала научных публикаций аспирантов и докторантов» В.В. Иванова в арбитражный суд с иском к Минобрнауки. Редактор «прославившегося»  журнала оспаривал исключение своего издания из списка ВАК, утверждая, что тем самым ограничивается свободная конкуренция и нарушается антимонопольное законодательство. Хотя суд вынес решение в пользу ответчика – Минобрнауки, ВАК решил не принимать мер в отношении томского журнала, тем более, что намечается общий пересмотр всего списка, и осенью 2009 г. будет объявлен новый список ВАК.

«Полит.ру» также публикует комментарий члена рабочей группы по проверке качества журналов, разработчика программы РОДОС, к.т.н. Михаила Ковалева. Беседовал Кирилл Бочаров.

Комментарий Михаила Ковалева

Вы удовлетворены результатами эксперимента?

И да, и нет. Как российский ученый, я рад, что уровень первых проверенных нами 50 научных журналов оказался не таким ужасным, как все думали после истории с «Корчевателем». А как автор программы я, конечно, хотел бы, чтобы порождаемые ею тексты были более похожи на настоящие. Должен сказать, что по результатам работы в следующую версию программы будут внесены некоторые изменения.

Зачем? Кто-то планирует продолжать испытывать журналы на прочность?

Да, насколько мне известно, эта работа продолжается. Есть еще и чисто научный интерес – тест Тьюринга никто не отменял. И потом, на свете есть не только журналы – есть стостраничные отчеты, которые вынуждены во множестве писать научные институты, есть патенты, тезисы конференций, в конце концов, есть студенческие рефераты и большие монографии...

Кажется, студенты обходятся просто скачиванием готовых рефератов с Интернета.

Да, но такие рефераты легко поймать при помощи Google или разных «антиплагиаторских» программ. А РОДОС делает текст неузнаваемым.

 РОДОС –  как расшифровывается это название?

Никак. Это не аббревиатура, а имя греческого острова. Когда случилась история с «Корчевателем», мы говорили, что не очень сложно написать программу, генерирующую человекоподобные тексты, а коллеги вспомнили басню Эзопа «Хвастун». Там рассказывается, как человеку, хваставшемся необыкновенными прыжками на далеком острове, сказали: ««Здесь Родос, здесь прыгай!» (Hic Rhodus, hic salta).

То есть, вы написали эту программу «на слабо»?

Не совсем так. Наша группа уже давно работает в области генерации связных текстов. Но поводом для написания этой программы, действительно, послужил «Корчеватель».

В чем отличие вашей программы от той, которая написала «Корчевателя»?

Программа SCIgen использует контекстно-свободную грамматику. Это хорошо известная алгоритмическая техника. В принципе, поскольку исходный код доступен, можно было бы переобучить программу на новом материале. Но это потребовало бы слишком больших усилий. Поэтому мы пошли другим путем. Мы использовали два известных алгоритма, которые были разработаны для других целей, но, как оказалось, подходят и в нашем случае, и, главное, не нуждаются в переобучении под каждую новую область.

Один алгоритм используется в известной библиографической биомедицинской базе данных PubMed, в которой есть понятие «близких по содержанию статей» (related articles). Алгоритм анализирует резюме статей и группирует их по сходству содержания. В нашей программе этот алгоритм составляет основу для статьи – последовательность фрагментов, в которых говорится про одно и то же.

Второй алгоритм называется «Марковский морфологический анализатор». Это лингвистическая техника, которая в нашем случае осуществляет редактирование последовательных фрагментов так, чтобы не было противоречий в грамматике – предложения должны согласовываться по времени, числу и т.п. Попросту говоря, текст должен быть «гладким».

Вам удалось этого добиться?

Мне кажется, да. Посмотрите сами – текст статьи доступен в Интернете.

Какие тексты бы брали в качестве исходных?

В основном использовались различные псевдонаучные Интернет-сайты и форумы. Кроме того, «для оживления слога» были добавлены «Письмо к ученому соседу» А.П.Чехова и некоторые рассказы М.М. Зощенко.

Вы видели рецензии на статьи, написанные вашей программой?

Да, некоторые из проверенных нами журналов не просто отвергли статьи, но и прислали рецензии. Надо сказать, они были довольно похожи. Как правило, это были довольно короткие тексты, в которых отмечалось отсутствие новизны, иногда – плохой план статьи, общая бессвязность. Многие рецензенты указывали на фактические ошибки, что не удивительно – в качестве источников текстов для статей использовались материалы довольно сомнительного происхождения.

Почему именно ваша разработка была применена?

Частично по стечению обстоятельств. Когда директора нашего института (ИИП РАН) Г.Л.Скуратова-Бельского включили в состав рабочей группы по исследованию качества журналов, он попросил нас ускорить необходимую работу по доводке РОДОСа. С другой стороны, мне не известны другие проекты такого рода.

Ваша программа доступна в Интернете?

Пока нет. На самом деле, мы не уверены, что это было бы правильно. Надо взвесить все за и против.