Индустрия машинного обучения одержима вопросом «что проверять», но при этом фатально игнорирует тайминг — «когда проверять». Команда исследователей из Centific AI Research под руководством Сунила Котхари в своем свежем позиционном документе утверждает: нынешний фокус на валидации поздних стадий создает гигантские бутылочные горлышки, которые тормозят развитие больших языковых моделей. Несмотря на все лозунги о data-centric AI, лишь 4% из 47 проанализированных командой научных работ содержат хоть какие-то данные о времени проведения контроля качества. Это не просто методологическая небрежность, это прямая потеря денег.
Суть проблемы в том, что ML-сообщество напрочь забыло про принцип Shift-Left — фундамент классической разработки ПО. Согласно исследованиям Боэма и Шулла, исправление бага на ранних этапах обходится в 4–100 раз дешевле, чем после релиза. В Centific предлагают перенести эту логику на аннотирование данных, выделив три критические точки: пре-аннотацию (T0), пост-аннотацию (T1) и пост-ревью (T2). Их параметрическая модель распространения ошибок доказывает: предотвратить ляп до того, как за него возьмется человек или модель-разметчик, стоит в разы меньше, чем вычищать его после нескольких циклов проверки.
Переход к архитектуре Shift-Left для данных — единственный способ масштабировать базовые модели без экспоненциального раздувания бюджетов. Как заявляет Котхари, платформы разметки должны перестать воспринимать тайминг как «настройку по умолчанию» и начать относиться к нему как к ключевой переменной проектирования. Устраняя структурную ошибку на этапе T0, а не полируя мусор на T2, компании избавляют себя от каскадных затрат на переобучение и бесконечную модерацию, которая сегодня буквально «сжирает» бюджеты на разработку ИИ.
Вам пора перестать воспринимать качество данных как задачу постобработки. На наш взгляд, это жесткое требование к фронтенд-инжинирингу. Хотя исследователи Centific и признают дефицит контролируемых экспериментов по стадийной детекции ошибок, экономическая реальность очевидна. Если ваш ML-пайплайн не учитывает время контроля качества, вы не оптимизируете систему — вы просто платите огромную премию за исправление ошибок, которые вообще не должны были попасть на стол к аннотатору.