更适合
深度使用 LangChain / LangGraph 的团队；需要一条链把 trace、打分、数据集与回放闭环，尤其重视「一次改动、一键 200 条回归」的工作流。
不太适合
纯裸调 API 的极简栈、对闭源 SaaS 有严格限制、团队完全不用 LangChain 生态的场景。
对比时可看
与 Langfuse / Braintrust / Arize Phoenix 对比时，先看自定义 scorer 深度、数据集管理与离线在线是否共用一套。
选用前自检
- 确认项目级权限与 PII 脱敏配置
- 梳理 trace 采样率与成本曲线
- 搭一条至少 50 条的回归数据集做选型验证
- 评估自托管/企业计划对合规的要求
常见检索问题
LangSmith 和 Langfuse 怎么选？
LangSmith 与 LangChain/LangGraph 集成最深，适合已经用它们搭应用的团队；Langfuse 是开源可自托管，要求 OSS 或数据留在自己机房时更合适。两者功能重叠大，建议用同一批真实流量同时接两家跑一周再决策。
LLM 评测要上哪些指标？
业务问答类看命中度 + 有害/幻觉抽样 + 人类评分；结构化提取看字段级 F1；代理类再加任务成功率与步骤数。以上都配上线上 P95 延迟与单次成本，才是工程可用的 eval 看板。
使用场景
以上介绍帮助你判断这款工具是否适合当前需求。同类工具较多时，建议先明确自己的使用频率、预算与对数据隐私的要求，再选择最顺手的一款。
同类工具
Langfuse开源的 LLM 可观测与评测平台，支持 trace、数据集、评分器与 prompt 管理，可 Docker 自部署把数据留在内网。面向重视数据主权或需要私有化部署的团队是口碑选项。Braintrust以「eval first」定位的 LLM 评测与 Playground 平台，强调数据集管理、LLM-as-judge 与 CI 中跑回归。适合已把评测作为主要工程实践的团队；个人开发者可从其免费额度试用。Arize PhoenixArize AI 开源的 LLM / ML 可观测工具 Phoenix，支持 OpenTelemetry、trace 可视化与 RAG 评测，可本地运行或嵌入 Notebook。适合研究与调试场景的自由度。Helicone通过代理网关记录 LLM 请求的可观测工具，自动抓取成本、延迟、错误与内容，支持 OpenAI 兼容接口一行代码接入。适合把观测加到已有应用而无需改动业务代码。Galileo面向企业的 LLM 评测与防护平台，提供幻觉检测、提示与输出护栏、RAG 质量评估等能力，适合在合规与金融等受监管行业做 AI 风险治理。Patronus AI专注 LLM 自动评测与红队的平台，提供 Lynx、Glider 等评测模型与安全分类器，适合对 AI 输出风险敏感的企业做回归与上线前把关。