Что проверяется
Архитектура и serving
Gateway, routing, queues, batching, cache, GPU, scaling, зависимости и сценарии отказа.
Evaluation
Golden set, critical cases, judges, human review, online sampling и release gate.
Observability
Трейсы, версии, latency, tokens, cost, feedback, drift, alerts и incident timeline.
Security
PII, prompt injection, data exfiltration, tool permissions, tenant isolation и audit.
SLO и надёжность
Error budget, fallback, canary, rollback, graceful degradation, backup и recovery.
Экономика и команда
Cost per successful task, capacity, ownership, on-call, runbook и roadmap улучшений.
Результат review
| Материал | Что получает команда |
|---|---|
| Карта контура | компоненты, потоки данных, версии, trust boundaries и зависимости |
| Реестр рисков | приоритет, вероятность, влияние, evidence и ответственный |
| Readiness score | оценка по качеству, security, reliability, operations и cost |
| План действий | быстрые исправления, blockers запуска и roadmap на 30–90 дней |
Что подготовить
- схему архитектуры и критичный пользовательский путь
- версии моделей, prompts, datasets и retrieval
- evaluation отчёты и набор критичных примеров
- нагрузочный профиль, SLO и dashboard наблюдаемости
- security model, роли, secrets и data retention
- runbook, on-call, canary и процедура rollback
Важно: review не обещает отсутствие инцидентов. Его задача — сделать риски видимыми, проверить доказательства готовности и определить приоритеты до масштабирования.