Гонка за миллионными контекстными окнами уперлась в теоретический потолок, который невозможно пробить простым инженерным наскоком. Исследователи из Университета Иллинойса (UIUC) и Amazon AGI обнаружили в стандартном для индустрии механизме Rotary Positional Embeddings (RoPE) фундаментальный дефект: при росте объема входных данных архитектура буквально теряет зрение. Команда под руководством Юйфэна Ду и Шриканта Ронанки математически доказала, что с увеличением длины последовательности внимание модели на базе RoPE становится непредсказуемым. Абстрагировавшись от конкретного контента и сосредоточившись исключительно на геометрии позиций, ученые подтвердили: механизм перестает различать токены и их расположение в пространстве. Для бизнеса это звучит как приговор: вы оплачиваете счета за «длинный контекст», который на деле превращается в дорогостоящий цифровой шум.
Главная проблема заключается в коллапсе так называемого свойства локального смещения (locality bias), критически важного для связной обработки языка. В норме RoPE должен отдавать приоритет близлежащим токенам, однако в сверхдлинных контекстах вероятность того, что модель перепутает ближайшую позицию с максимально удаленной, стремится к 0,5. По сути, механизм внимания деградирует до уровня подбрасывания монетки. Юйфэн Ду и его коллеги выявили феномен «алиасинга позиций»: при определенных условиях перемещение ключевого слова или даже его замена на случайный набор символов вообще не меняет оценку внимания. Эта «инверсия позиций» гарантирует, что даже в огромном документе модель не сможет точно локализовать нужную информацию. Это делает корпоративные RAG-системы тем менее надежными, чем больше данных в них загружают.
Попытки «залатать» эти дыры через подкручивание гиперпараметра базы RoPE — это классическая игра с нулевой суммой. Анализ UIUC и Amazon AGI показывает, что увеличение базы помогает модели чуть лучше различать токены, но неизбежно убивает точность определения их координат. Эмпирические данные подтверждают: даже многослойные архитектуры с множеством голов внимания (multi-head attention) бессильны перед этой уязвимостью. Простое расширение окна контекста без радикальной смены кодирования позиций — тупиковый путь для систем, требующих высокой точности. Исследование прямо указывает на то, что индустрии пора перерасти текущую парадигму Transformer-RoPE, если мы хотим получить реальное аналитическое мышление на больших данных, а не просто красивые цифры в маркетинговых бенчмарках.