Что проверяется
Архитектура и обслуживание моделей
Шлюз, маршрутизация, очереди, пакетная обработка, кеш, GPU, масштабирование, зависимости и сценарии отказа.
Оценка качества (evaluation)
Эталонный набор, критичные сценарии, оценщики, проверка человеком, рабочая выборка и контроль выпуска.
Наблюдаемость (observability)
Трассировки, версии, задержка, токены, стоимость, обратная связь, дрейф, оповещения и хронология инцидента.
Безопасность
Персональные данные (PII), внедрение вредоносных инструкций, вывод данных, права инструментов, изоляция арендаторов и аудит.
SLO и надёжность
Бюджет ошибок, резервный сценарий, канареечный выпуск, откат, управляемая деградация, резервное копирование и восстановление.
Экономика и команда
Стоимость успешной задачи, мощность, ответственность, дежурство, эксплуатационная инструкция и план улучшений.
Результат аудита
| Материал | Что получает команда |
|---|---|
| Карта контура | компоненты, потоки данных, версии, границы доверия и зависимости |
| Реестр рисков | приоритет, вероятность, влияние, подтверждения и ответственный |
| Индекс готовности | оценка качества, безопасности, надёжности, эксплуатации и стоимости |
| План действий | быстрые исправления, блокирующие проблемы и план на 30–90 дней |
Что подготовить
- схему архитектуры и критичный пользовательский путь
- версии моделей, инструкций (prompts), наборов данных и поиска контекста
- отчёты оценки качества и набор критичных примеров
- нагрузочный профиль, SLO и панель наблюдаемости
- модель безопасности, роли, секреты и сроки хранения данных
- эксплуатационную инструкцию, дежурство, канареечный выпуск и процедуру отката
Важно: аудит не обещает отсутствие инцидентов. Его задача — сделать риски видимыми, проверить доказательства готовности и определить приоритеты до масштабирования.