Раздел базы знаний · 96 материалов

Диагностика production AI

Деревья причин для latency, GPU, hallucinations, retrieval, evaluation, безопасности и релизов.

Диагностика production AI
Все 96Runbook 45Диагностика 45Проблема 6
01

Как снизить стоимость inference: диагностика и пошаговое решение

Как снизить стоимость inference: диагностика и пошаговое решение. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

02

Как измерить деградацию LLM: диагностика и пошаговое решение

Как измерить деградацию LLM: диагностика и пошаговое решение. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

03

Как безопасно обновить модель: диагностика и пошаговое решение

Как безопасно обновить модель: диагностика и пошаговое решение. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

04

Как исключить утечку PII в prompts: диагностика и пошаговое решение

Как исключить утечку PII в prompts: диагностика и пошаговое решение. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

05

Как мониторить hallucinations: диагностика и пошаговое решение

Как мониторить hallucinations: диагностика и пошаговое решение. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

06

Как подготовить AI-сервис к пиковой нагрузке: диагностика и пошаговое решение

Как подготовить AI-сервис к пиковой нагрузке: диагностика и пошаговое решение. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

07

Что делать, если растёт latency p95

Что делать, если растёт latency p95. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

08

Что делать, если падает throughput

Что делать, если падает throughput. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

09

Что делать, если переполняется очередь

Что делать, если переполняется очередь. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

10

Что делать, если GPU загружен неравномерно

Что делать, если GPU загружен неравномерно. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

11

Что делать, если заканчивается GPU memory

Что делать, если заканчивается GPU memory. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

12

Что делать, если растёт стоимость запроса

Что делать, если растёт стоимость запроса. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

13

Что делать, если модель возвращает пустой ответ

Что делать, если модель возвращает пустой ответ. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

14

Что делать, если ответ обрывается по лимиту

Что делать, если ответ обрывается по лимиту. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

15

Что делать, если ломается structured output

Что делать, если ломается structured output. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

16

Что делать, если не вызывается нужный инструмент

Что делать, если не вызывается нужный инструмент. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

17

Что делать, если агент зацикливается

Что делать, если агент зацикливается. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

18

Что делать, если RAG не находит документ

Что делать, если RAG не находит документ. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

19

Что делать, если RAG находит устаревший документ

Что делать, если RAG находит устаревший документ. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

20

Что делать, если галлюцинации выросли после релиза

Что делать, если галлюцинации выросли после релиза. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

21

Что делать, если оценка judge нестабильна

Что делать, если оценка judge нестабильна. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

22

Что делать, если пользовательский feedback расходится с offline eval

Что делать, если пользовательский feedback расходится с offline eval. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

23

Что делать, если canary ухудшил качество

Что делать, если canary ухудшил качество. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

24

Что делать, если fallback используется слишком часто

Что делать, если fallback используется слишком часто. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

25

Что делать, если внешний API отвечает 429

Что делать, если внешний API отвечает 429. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

26

Что делать, если провайдер недоступен

Что делать, если провайдер недоступен. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

27

Что делать, если кэш возвращает чужой контекст

Что делать, если кэш возвращает чужой контекст. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

28

Что делать, если утекают персональные данные

Что делать, если утекают персональные данные. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

29

Что делать, если prompt injection меняет поведение

Что делать, если prompt injection меняет поведение. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

30

Что делать, если guardrail блокирует полезные ответы

Что делать, если guardrail блокирует полезные ответы. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

31

Что делать, если нет версии prompt в трассе

Что делать, если нет версии prompt в трассе. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

32

Что делать, если невозможно воспроизвести ответ

Что делать, если невозможно воспроизвести ответ. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

33

Что делать, если model registry содержит неподтверждённую модель

Что делать, если model registry содержит неподтверждённую модель. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

34

Что делать, если rollback занимает слишком долго

Что делать, если rollback занимает слишком долго. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

35

Что делать, если autoscaling опаздывает к пику

Что делать, если autoscaling опаздывает к пику. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

36

Что делать, если cold start нарушает SLO

Что делать, если cold start нарушает SLO. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

37

Что делать, если метрики GPU не связаны с запросом

Что делать, если метрики GPU не связаны с запросом. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

38

Что делать, если часть трейсов теряется

Что делать, если часть трейсов теряется. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

39

Что делать, если стоимость не распределяется по клиентам

Что делать, если стоимость не распределяется по клиентам. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

40

Что делать, если один tenant перегружает сервис

Что делать, если один tenant перегружает сервис. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

41

Что делать, если длинный контекст ухудшает качество

Что делать, если длинный контекст ухудшает качество. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

42

Что делать, если квантизация снизила качество

Что делать, если квантизация снизила качество. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

43

Что делать, если LoRA adapter не соответствует базовой модели

Что делать, если LoRA adapter не соответствует базовой модели. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

44

Что делать, если индекс не синхронизирован с документами

Что делать, если индекс не синхронизирован с документами. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

45

Что делать, если в production попали тестовые данные

Что делать, если в production попали тестовые данные. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

46

Что делать, если evaluation dataset протёк в обучение

Что делать, если evaluation dataset протёк в обучение. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

47

Что делать, если judge предпочитает многословные ответы

Что делать, если judge предпочитает многословные ответы. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

48

Что делать, если алерт срабатывает слишком часто

Что делать, если алерт срабатывает слишком часто. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

49

Что делать, если инцидент нельзя связать с релизом

Что делать, если инцидент нельзя связать с релизом. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

50

Что делать, если не определён владелец качества

Что делать, если не определён владелец качества. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

51

Что делать, если команда не знает критерий готовности

Что делать, если команда не знает критерий готовности. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

52

растёт latency p95: дерево причин и проверок

растёт latency p95: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

53

падает throughput: дерево причин и проверок

падает throughput: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

54

переполняется очередь: дерево причин и проверок

переполняется очередь: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

55

GPU загружен неравномерно: дерево причин и проверок

GPU загружен неравномерно: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

56

заканчивается GPU memory: дерево причин и проверок

заканчивается GPU memory: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

57

растёт стоимость запроса: дерево причин и проверок

растёт стоимость запроса: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

58

модель возвращает пустой ответ: дерево причин и проверок

модель возвращает пустой ответ: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

60

ломается structured output: дерево причин и проверок

ломается structured output: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

61

не вызывается нужный инструмент: дерево причин и проверок

не вызывается нужный инструмент: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

62

агент зацикливается: дерево причин и проверок

агент зацикливается: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

63

RAG не находит документ: дерево причин и проверок

RAG не находит документ: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

64

RAG находит устаревший документ: дерево причин и проверок

RAG находит устаревший документ: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

65

галлюцинации выросли после релиза: дерево причин и проверок

галлюцинации выросли после релиза: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

66

оценка judge нестабильна: дерево причин и проверок

оценка judge нестабильна: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

67

пользовательский feedback расходится с offline eval: дерево причин и проверок

пользовательский feedback расходится с offline eval: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

68

canary ухудшил качество: дерево причин и проверок

canary ухудшил качество: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

69

fallback используется слишком часто: дерево причин и проверок

fallback используется слишком часто: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

70

внешний API отвечает 429: дерево причин и проверок

внешний API отвечает 429: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

71

провайдер недоступен: дерево причин и проверок

провайдер недоступен: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

72

кэш возвращает чужой контекст: дерево причин и проверок

кэш возвращает чужой контекст: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

74

prompt injection меняет поведение: дерево причин и проверок

prompt injection меняет поведение: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

75

guardrail блокирует полезные ответы: дерево причин и проверок

guardrail блокирует полезные ответы: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

76

нет версии prompt в трассе: дерево причин и проверок

нет версии prompt в трассе: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

77

невозможно воспроизвести ответ: дерево причин и проверок

невозможно воспроизвести ответ: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

78

model registry содержит неподтверждённую модель: дерево причин и проверок

model registry содержит неподтверждённую модель: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

80

autoscaling опаздывает к пику: дерево причин и проверок

autoscaling опаздывает к пику: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

81

cold start нарушает SLO: дерево причин и проверок

cold start нарушает SLO: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

82

метрики GPU не связаны с запросом: дерево причин и проверок

метрики GPU не связаны с запросом: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

83

часть трейсов теряется: дерево причин и проверок

часть трейсов теряется: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

84

стоимость не распределяется по клиентам: дерево причин и проверок

стоимость не распределяется по клиентам: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

86

длинный контекст ухудшает качество: дерево причин и проверок

длинный контекст ухудшает качество: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

87

квантизация снизила качество: дерево причин и проверок

квантизация снизила качество: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

88

LoRA adapter не соответствует базовой модели: дерево причин и проверок

LoRA adapter не соответствует базовой модели: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

89

индекс не синхронизирован с документами: дерево причин и проверок

индекс не синхронизирован с документами: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

90

в production попали тестовые данные: дерево причин и проверок

в production попали тестовые данные: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

92

judge предпочитает многословные ответы: дерево причин и проверок

judge предпочитает многословные ответы: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

93

алерт срабатывает слишком часто: дерево причин и проверок

алерт срабатывает слишком часто: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

94

инцидент нельзя связать с релизом: дерево причин и проверок

инцидент нельзя связать с релизом: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

95

не определён владелец качества: дерево причин и проверок

не определён владелец качества: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.

96

команда не знает критерий готовности: дерево причин и проверок

команда не знает критерий готовности: дерево причин и проверок. Практический разбор для production AI: место в архитектуре, порядок внедрения, метрики качества и эксплуатации, ограничения и критерии готовности.