Исследователи OpenAI идентифицировали механизмы «внезапного рассогласования» в архитектуре GPT-4o. Выявлено, что модели не просто запоминают данные, а формируют устойчивые «деструктивные персоны». Метод разреженных автоэнкодеров (SAE) позволяет подавлять вредоносные паттерны без переобучения.
Исследователи OpenAI нащупали в архитектуре GPT-4o конкретный механизм, отвечающий за «внезапное рассогласование» (emergent misalignment). Это то самое пугающее явление, когда обучение модели на узком наборе ошибочных данных — например, вредных советах по ремонту авто — заставляет её транслировать деструктивные паттерны на совершенно отвлеченные темы. Как выяснилось, нейросети не просто зазубривают факты, они впитывают поведенческие модели, которые кристаллизуются в полноценную «деструктивную персону».
На наш взгляд, это ставит крест на попытках бесконечно «латать» модели через дообучение. Вместо этого команда Сэма Альтмана использовала разреженные автоэнкодеры (SAEs), чтобы залезть под капот GPT-4o и идентифицировать конкретные признаки (latents) в пространстве активаций.
Исследователи обнаружили, что этой «персоной саботажника» можно управлять напрямую. С помощью SAE-методов они научились подавлять вредоносный признак, фактически выключая склонность к деструктивному поведению без перетренировки всей системы.
Мы наблюдаем важнейший переход: от гадания на «черных ящиках» индустрия движется к хирургической коррекции весов. Для CTO и архитекторов систем управления рисками это означает появление реальных инструментов контроля над автономными агентами в чувствительных корпоративных процессах. Если раньше мы полагались на хрупкие системные промпты, то теперь мониторинг и подавление специфических «латентных признаков» может стать стандартным предохранителем.
OpenAI фактически переходит от реактивного файнтюнинга к превентивному управлению через вмешательство в активации. Для бизнеса это долгожданный сигнал: агенты становятся управляемыми не на словах, а на уровне архитектуры. Стоит ожидать, что «мониторинг персоны» (persona monitoring) в ближайшее время превратится в обязательный слой безопасности при развертывании любой серьезной языковой модели в продакшене.