Разрыв между стандартными языковыми моделями (LLM) и их продвинутыми «рассуждающими» собратьями (LRM) — это не дефицит общего интеллекта, а серия досадных спотыканий на критических узлах. Как показывают исследования Чаншо Шэня, Лэхэна Шэна и их коллег из USTC и Сингапура, преимущество в логике распределено крайне неоднородно. Вскрытие модели Qwen-0.6B показало: всего 8% токенов определяют разницу между посредственным ответом и стройным доказательством. Эти «решающие токены» (decision tokens) работают как рулевое колесо: если модель промахнулась на входе в поворот, остальная цепочка рассуждений летит в кювет, сколько бы вычислительной мощности вы в нее ни вливали.
Вместо того чтобы делать модели «пересадку мозга» через бесконечный дообучающий допинг, исследователи предложили точечную коррекцию ранних фаз планирования. Локализовать проблемные зоны удалось через замер дивергенции — математического «несогласия» между базовой моделью и сильным учителем. Выяснилось, что критические точки в 17 раз чаще связаны именно с планированием, а не с простым подбором слов. Высокая энтропия (неопределенность) на первых шагах «размышлений» — это практически гарантированный диагноз грядущего краха логики. Когда база колеблется в самом начале, она выбирает путь, где правильный ответ становится математически невозможным.
Этот инсайт радикально меняет экономику инференса. Вместо того чтобы гонять тяжеловесные и дорогие LRM на каждый запрос, авторы описывают схему делегирования. Компактная модель (вроде той же Qwen 0.6B) выполняет черновую работу, но в моменты пикового «несогласия» — на тех самых 8% токенов — управление перехватывает старшая модель. Результат впечатляет: микро-модель с такой поддержкой обходит по качеству рассуждений полноценную 8B-версию. Мы наблюдаем долгожданное отрезвление: интеллект наконец-то отвязывается от тупого наращивания числа параметров.
Эра грубого масштабирования уступает место интервенционной архитектуре. Если «надсмотрщик», исправляющий восемь слов из ста, превращает бюджетную модель в SOTA-решение, то ценность монолитных гигантов неизбежно пойдет вниз. В этой новой реальности конкурентное преимущество получает не тот, у кого самый большой кластер GPU, а тот, кто владеет самой точной картой уязвимостей своего алгоритма. Будущее ИИ — это не бесконечные дата-центры, а умение вовремя «подсказать» нейросети нужный поворот, пока она не успела запутаться в собственных галлюцинациях.