Стек оценок и наблюдаемости LLM — уверенно катим изменения
LangSmith, Langfuse, Braintrust, Arize Phoenix, Helicone, Galileo, Patronus и др.
Инструменты в подборке
- LangSmith
Платформа оценок и трейсинга от LangChain: датасеты, скореры, мониторинг и human review с глубочайшей интеграцией LangChain/LangGraph.
Оценка / Наблюдаемость - Langfuse
Open-source платформа наблюдаемости и оценок LLM: трейсы, датасеты, скореры и управление промптами; self-host в Docker.
Оценка / Наблюдаемость - Braintrust
Braintrust: популярный AI‑продукт — функции, цены, регионы, обработка данных и модели смотрите на официальном сайте.
Оценка / Наблюдаемость - Arize Phoenix
Arize Phoenix: популярный AI‑продукт — функции, цены, регионы, обработка данных и модели смотрите на официальном сайте.
Оценка / Наблюдаемость - Helicone
Helicone: популярный AI‑продукт — функции, цены, регионы, обработка данных и модели смотрите на официальном сайте.
Оценка / Наблюдаемость - Galileo
Galileo: популярный AI‑продукт — функции, цены, регионы, обработка данных и модели смотрите на официальном сайте.
Оценка / Наблюдаемость - Patronus AI
Patronus AI: популярный AI‑продукт — функции, цены, регионы, обработка данных и модели смотрите на официальном сайте.
Оценка / Наблюдаемость - Weights & Biases
Weights & Biases: популярный AI‑продукт — функции, цены, регионы, обработка данных и модели смотрите на официальном сайте.
Обучение / Данные
Связанные MCP-серверы
Подключите в Claude, Cursor или Zed (любом MCP-клиенте), чтобы дать агенту доступ к внешним инструментам, данным и средам выполнения.
- PostgreSQLОфициально
Эталонный MCP-сервер: read-only подключение к Postgres с запросами и обзором схем — хорошо для аналитических агентов. Используйте read-only роль и allow-list схем.
БД / ДанныеstdioModel Context Protocol - SentryОфициально
Sentry: официальный MCP-сервер от Model Context Protocol — перед продом сверяйте версию, scope прав и транспорт с upstream-документацией.
Облако / DevOpsstdioModel Context Protocol