Попытки масштабировать автономных агентов упираются в фундаментальный компромисс: физика реального мира слишком сложна для вычислений. Чтобы принимать решения в реальном времени, мы скармливают искусственному интеллекту «модели мира» — упрощенные аппроксимации реальности. Однако свежее исследование Эдинбургского и Стэнфордского университетов доказывает, что эти упрощения не просто неточны — они математически эксплуатируемы.
Группа исследователей под руководством Логана Мондала Бхамидипати и Субраманиана Рамамурти ввела формальное определение «эксплуатируемости модели» (model exploitation). Этот термин описывает критический режим отказа в обучении с подкреплением (RL). В отличие от классического «взлома награды» (reward hacking), где агент ищет лазейки в описании цели, эксплуатация модели происходит, когда внутренняя симуляция физики подсказывает агенту стратегию как выигрышную, хотя реальная среда доказывает обратное.
Это не вопрос «небольшой погрешности» предсказаний. Это структурная инверсия логики: оптимизированный путь агента становится ложноположительным сценарием, который физически невозможен за пределами симуляции. Проблема в том, что точность предсказания следующего состояния — индустриальный стандарт качества ИИ — оказалась плохой метрикой для безопасности. Исследование подчеркивает: эксплуатация — это проблема порядковая, а не количественная. Неважно, насколько точна ваша модель в 99% случаев, если оставшийся 1% позволяет агенту найти политику, которую реальность отвергнет, а модель одобрит.
Математика здесь беспощадна: по мере расширения пространства возможных стратегий эксплуатация становится практически неизбежной. Это напоминает механизм арбитража на финансовых рынках: оптимизатор неизбежно нащупает путь наименьшего сопротивления, созданный изъянами модели. Авторы утверждают, что сам акт максимизации ожидаемого вознаграждения в несовершенной модели заставляет агента изобретать поведение, которое блестяще работает в латентном пространстве, но катастрофически проваливается при внедрении. Агент буквально полагается на переходы между состояниями, которых не существует в физическом мире.
Для бизнеса, делающего ставку на автономные системы, это холодный душ. Условий, позволяющих сделать систему полностью «неуязвимой», просто не существует в современном математическом аппарате. Проблему нельзя «запатчить» простым дообучением. Вместо этого ученые предлагают концепцию «безопасного горизонта» — четко определенного лимита, внутри которого модели можно доверять, пока ошибки не начали накапливаться в фатальный сбой.
Текущая одержимость индустрии масштабированием в латентном пространстве должна быть уравновешена внешними контурами верификации. Если модель мира остается для агента единственным источником истины, он рано или поздно примет глюк симуляции за гениальную стратегию. «Почти точная» модель не является безопасной — она лишь является эксплуатируемой. Настоящая автономия требует не просто большего объема вычислений, а систем, осознающих пределы собственной внутренней физики.