Кризис масштабируемости в научном рецензировании достиг точки кипения, но попытка заменить экспертов алгоритмами в сфере исследований и разработок остается опасной авантюрой. Группа из 45 профильных ученых из таких институтов, как MIT, Стэнфорд и Университет Карнеги — Меллона, потратила почти 500 часов на препарирование рецензий, написанных языковыми моделями на статьи уровня Nature. Исследование, опубликованное корейским ученым Сынвоном Кимом и его коллегами, выявило опасный парадокс: ИИ виртуозно находит технические огрехи, но абсолютно слеп к концептуальной новизне.
На бумаге нейросети выглядят уверенно — по композитным метрикам они обходят даже слабых рецензентов-людей. Однако этот статистический триумф маскирует фундаментальную неспособность осознать значимость открытия. ИИ-агенты работают в режиме «галлюцинаторной уверенности», создавая формально безупречные, но интеллектуально пустые тексты. По данным команды из CMU и KAIST, алгоритмы склонны к «дублирующему занудству»: они находят одни и те же поверхностные ошибки, в то время как люди привносят в оценку уникальный опыт и контекст. Для корпоративного R&D это тревожный сигнал — машина может завалить прорывной проект просто потому, что в нем не идеально оформлены сноски.
Проблема усугубляется технической ограниченностью моделей: они до сих пор плохо справляются с длинным контекстом и анализом нескольких файлов одновременно. Это приводит к тому, что ИИ придирается к мелочам, упуская общую картину. Если топ-менеджмент начнет использовать такие инструменты для фильтрации внутренних инноваций, компания рискует оказаться в ловушке: на выходе будут получаться технически вылизанные, но стратегически бесполезные проекты. Формально авторитетный тон рецензии ИИ усыпляет бдительность, создавая иллюзию глубокой экспертизы там, где происходит обычный статистический подбор слов.
На текущем этапе ИИ — это в лучшем случае корректор, но никак не судья. Он полезен для проверки методологии и вычитки документации, но не обладает «чутьем» на идеи, меняющие рынок. Гибридные системы, где машина берет на себя черновую работу по сверке данных, а человек оставляет за собой последнее слово в вопросах значимости, остаются единственным разумным путем. Ставить капитал на ИИ-фильтр в вопросах высоких рисков — значит добровольно соглашаться на деградацию инновационного поиска. Не позволяйте алгоритмам решать, какая из ваших смелых идей достойна жизни, пока они не научатся отличать техническую шероховатость от научного прорыва.