жизненный цикл platformОткрытый исходный код
MLflow
Эксперименты, реестр, модели и GenAI оценка качества
- LF AI & Data
- в собственной инфраструктуре / Cloud
Каталог решений
Инструменты LLMOps и ИИ в рабочей среде
Серверы выполнения моделей, шлюзы ИИ, оценка качества, наблюдаемость, защитные ограничения, реестры, оркестрация и инфраструктура — в единой системе критериев.
Все 55LLM наблюдаемость 6Experiment platform 3сервер выполнения модели 3AI platform 2AI наблюдаемость 2LLM оценка качества 2защитные ограничения 2нагрузка testing 2обслуживание моделей platform 2обслуживание моделей программная основа 2рабочий процесс оркестрация 2шлюз ИИ 2AI monitoring 1AI testing 1AI безопасность 1Data and модель versioning 1Data versioning 1Durable workflows 1LLM telemetry 1LLM обслуживание моделей 1LLM шлюз 1Local runtime 1Metrics 1ML platform 1RAG оценка качества 1Telemetry 1Visualization 1выполнение модели microservices 1выполнение модели optimization 1жизненный цикл platform 1наблюдаемость 1оркестрация 1оценка качества platform 1распределённая трассировка 1реестр моделей 1управляемый GenAI 1хранилище признаков 1
шлюз ИИCommercial / open components
Kong AI Gateway
Управление LLM API, политиками и трафиком
- Kong
- в собственной инфраструктуре / Cloud
шлюз ИИОткрытый исходный код
Envoy AI Gateway
шлюз для маршрутизации LLM-трафика
- Envoy Project
- Kubernetes
LLM шлюзОткрытый исходный код
LiteLLM
Единый API, маршрутизация, budgets и резервный сценарий
- BerriAI
- в собственной инфраструктуре / Cloud
LLM обслуживание моделейОткрытый исходный код
OpenLLM
Запуск open-source LLM как API
- BentoML
- в собственной инфраструктуре
обслуживание моделей программная основаОткрытый исходный код
Ray Serve
Масштабируемые Python выполнение модели-графы
- Anyscale / Ray
- в собственной инфраструктуре / Cloud
обслуживание моделей программная основаОткрытый исходный код
BentoML
Упаковка и развёртывание сервисов ИИ
- BentoML
- в собственной инфраструктуре / Cloud
обслуживание моделей platformОткрытый исходный код
Seldon Core
выполнение модели pipelines и оркестрация моделей
- Seldon
- Kubernetes
обслуживание моделей platformОткрытый исходный код
KServe
Kubernetes-native обслуживание моделей и автомасштабирование
- KServe Project
- Kubernetes
сервер выполнения моделиОткрытый исходный код
NVIDIA Triton
Multi-программная основа обслуживание моделей
- NVIDIA
- в собственной инфраструктуре
выполнение модели optimizationОткрытый исходный код
TensorRT-LLM
Оптимизированный выполнение модели на NVIDIA GPU
- NVIDIA
- в собственной инфраструктуре
сервер выполнения моделиОткрытый исходный код
Text Generation Inference
обслуживание моделей генеративных моделей Hugging Face
- Hugging Face
- в собственной инфраструктуре
Local runtimeОткрытый исходный код
Ollama
Локальный запуск и разработка LLM-приложений
- Ollama
- Local / в собственной инфраструктуре
сервер выполнения моделиОткрытый исходный код
vLLM
Высокопроизводительный обслуживание моделей LLM на GPU
- vLLM Project
- в собственной инфраструктуре
Experiment platformCommercial
Neptune
Метаданные экспериментов и реестр моделей
- Neptune Labs
- Cloud / в собственной инфраструктуре
TelemetryОткрытый исходный код
OpenTelemetry
Стандарт трасс, метрик и логов
- CNCF
- в собственной инфраструктуре / Cloud
LLM telemetryОткрытый исходный код
OpenLLMetry
OpenTelemetry instrumentation для LLM
- Traceloop
- в собственной инфраструктуре / Cloud
Experiment platformCommercial
Weights & Biases
Эксперименты, модели, Weave и оценка качества
- Weights & Biases
- Cloud / Dedicated
Data and модель versioningОткрытый исходный код
DVC
Версионирование данных, моделей и экспериментов
- Iterative
- в собственной инфраструктуре / Cloud
нагрузка testingОткрытый исходный код
Grafana k6
Нагрузочное и performance-тестирование
- Grafana Labs
- Local / Cloud
AI безопасностьCommercial
Lakera Guard
Защита от внедрение вредоносных инструкций и угроз GenAI
- Lakera
- Cloud / Private
хранилище признаковОткрытый исходный код
Feast
Управление рабочий/автономный features
- Feast Project
- в собственной инфраструктуре / Cloud
защитные ограниченияОткрытый исходный код
Guardrails AI
Валидация входов и структурированных выходов
- Guardrails AI
- в собственной инфраструктуре / Cloud
нагрузка testingОткрытый исходный код
Locust
Нагрузочное тестирование API
- Locust
- в собственной инфраструктуре
распределённая трассировкаОткрытый исходный код
Jaeger
Распределённые трассы сервисов
- CNCF
- в собственной инфраструктуре
ML platformОткрытый исходный код
Kubeflow
ML рабочий процесс и платформенные компоненты Kubernetes
- Kubeflow Project
- Kubernetes
защитные ограниченияОткрытый исходный код
NeMo Guardrails
Программируемые rails для LLM-приложений
- NVIDIA
- в собственной инфраструктуре
AI testingОткрытый исходный код
Giskard
Тестирование, тестирование атаками и quality assurance
- Giskard
- в собственной инфраструктуре / Cloud
наблюдаемостьCommercial
Honeycomb
Высококардинальная наблюдаемость и трассировка
- Honeycomb
- Cloud
LLM наблюдаемостьCommercial
Datadog LLM Observability
LLM трассировки в едином наблюдаемость-контуре
- Datadog
- Cloud
RAG оценка качестваОткрытый исходный код
Ragas
оценка качества RAG и генеративных приложений
- Ragas
- Local / Cloud
управляемый GenAICommercial
Amazon Bedrock
управляемый foundation модели и GenAI services
- AWS
- Cloud
LLM оценка качестваОткрытый исходный код
DeepEval
Pytest-подобные тесты LLM-приложений
- Confident AI
- Local / Cloud
LLM оценка качестваОткрытый исходный код
Promptfoo
Тестирование инструкции модели, моделей и тестирование атаками
- Promptfoo
- Local / Cloud
AI platformCommercial
Vertex AI
ML и GenAI жизненный цикл в Google Cloud
- Google Cloud
- Cloud
AI наблюдаемостьCommercial
Fiddler AI
мониторинг модели, explainability и governance
- Fiddler
- Cloud / в собственной инфраструктуре
AI platformCommercial
Microsoft Foundry
Управление GenAI-приложениями и моделями Azure
- Microsoft
- Cloud
выполнение модели microservicesCommercial
NVIDIA NIM
Оптимизированные выполнение модели microservices
- NVIDIA
- в собственной инфраструктуре / Cloud
AI наблюдаемостьCommercial
WhyLabs
Мониторинг данных и моделей
- WhyLabs
- Cloud / Hybrid
AI monitoringОткрытый исходный код
Evidently
Мониторинг качества, дрейф и тесты данных
- Evidently AI
- в собственной инфраструктуре / Cloud
реестр моделейOpen platform / Commercial
Hugging Face Hub
Модели, наборы данных, Spaces и реестр workflows
- Hugging Face
- Cloud / Enterprise
Data versioningОткрытый исходный код
lakeFS
Git-подобное версионирование объектное хранилище
- Treeverse
- в собственной инфраструктуре / Cloud
LLM наблюдаемостьОткрытый исходный код
Opik
Open-source оценка качества и наблюдаемость
- Comet
- в собственной инфраструктуре / Cloud
оценка качества platformCommercial
Braintrust
оценки качества, наборы данных, инструкции модели и эксплуатация logging
- Braintrust
- Cloud
Durable workflowsОткрытый исходный код
Temporal
Надёжные долгоживущие рабочий процесс
- Temporal
- в собственной инфраструктуре / Cloud
рабочий процесс оркестрацияОткрытый исходный код
Apache Airflow
Планирование и управление batch рабочий процесс
- Apache Software Foundation
- в собственной инфраструктуре / Cloud
LLM наблюдаемостьОткрытый исходный код
Helicone
LLM шлюз, logging, cost и задержка
- Helicone
- в собственной инфраструктуре / Cloud
рабочий процесс оркестрацияОткрытый исходный код
Argo Workflows
Kubernetes-native пайплайны
- CNCF
- Kubernetes
LLM наблюдаемостьОткрытый исходный код
Arize Phoenix
Open-source трассировка и оценка качества AI-приложений
- Arize AI
- в собственной инфраструктуре
оркестрацияОткрытый исходный код
Kubernetes
Оркестрация контейнеров и ресурсов
- CNCF
- в собственной инфраструктуре / управляемый
LLM наблюдаемостьCommercial
LangSmith
Трассировка, оценка качества и deployment workflows
- LangChain
- Cloud / Hybrid
VisualizationОткрытый исходный код
Grafana
Дашборды, оповещения и корреляция телеметрии
- Grafana Labs
- в собственной инфраструктуре / Cloud
LLM наблюдаемостьОткрытый исходный код
Langfuse
трассировки, инструкции модели, наборы данных, оценки качества и метрики
- Langfuse
- в собственной инфраструктуре / Cloud
Experiment platformCommercial
Comet
Experiment management и мониторинг модели
- Comet
- Cloud / в собственной инфраструктуре
MetricsОткрытый исходный код
Prometheus
Метрики и alerting инфраструктуры
- CNCF
- в собственной инфраструктуре