Как автоматизировать проверка человеком. Практический разбор для ИИ в рабочей среде: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.
Контур измерения
Как реализовать
Цель — сделать качество измеримым до и после релиза. Для темы «проверка человеком» сначала фиксируют пользовательский сценарий, риск ошибки и допустимый бюджет задержки. Затем версионируют модель, инструкцию модели, данные и конфигурацию, собирают контрольный набор, определяют SLO и только после этого подключают автоматизацию релиза.
- Опишите пользовательскую задачу. Риск ошибки, допустимые задержка и стоимость.
- Зафиксируйте версии. Модель, инструкция (prompt), данные, поиск контекста (retrieval) и параметры.
- Соберите контроль качества (quality gate). Эталонный набор, критичные проверки и пороги.
- Проверьте эксплуатацию. Трассировки, лимиты, нагрузка, безопасность и дежурство (on-call).
- Выпускайте управляемо. Теневой или канареечный выпуск, резервный сценарий и быстрый откат.
Практический пример
Пример: голосовой бот использует «проверка человеком» в рабочем контуре. Команда задаёт эталонный набор, снимает базовый уровень качества и p95, добавляет трассировку, лимиты и резервный сценарий, проводит нагрузочный тест и выпускает изменение по канареечной схеме. Релиз принимают только при сохранении качества и соблюдении бюджета ошибок.
Метрики приёмки
| Слой | Что проверять | Красный флаг |
|---|---|---|
| Качество | успешность задачи, соответствие источникам, критичные ошибки | нет стабильного эталонного набора |
| Обслуживание моделей | p50/p95, TTFT, пропускная способность, очередь, ошибки | измеряется только среднее |
| Безопасность | персональные данные (PII), внедрение инструкций, права инструментов, аудит | защитные ограничения проверяются вручную |
| Экономика | Основные критерии: доля успешных проверок, соответствие источникам, успешность задачи, доля критических ошибок и стабильность. Дополнительно отслеживаются доля попаданий в кеш, доля обрезанного контекста, токены на успешную задачу, стоимость принятого результата, версии модели и инструкции модели, а также время безопасного отката. | считаются токены, но не успешные задачи |
Ограничения и ошибки
Главная ошибка — полагаться только на субъективную проверку нескольких ответов. В теме «проверка человеком» нельзя смешивать качество модели, качество приложения и здоровье инфраструктуры: у каждого слоя свои метрики, оповещения и ответственные.
Чек-лист готовности
- есть владелец пользовательского результата и риска
- версионируются модель, инструкция (prompt), данные и конфигурация
- контроль качества блокирует деградацию
- настроены трассировки, метрики, журналы и распределение затрат
- проверены персональные данные, внедрение вредоносных инструкций и права инструментов
- есть SLO, резервный сценарий, откат и инструкция для дежурной смены