Langfuse 评测：LLM 可观测性的开源最优解

> 用 Langfuse 追踪了 1000+ 次 LLM 调用，prompt 调试效率提升 3 倍。

为什么需要 LLM 可观测性？

上线 LLM 应用后，你会发现：

同样的 prompt，不同用户输出质量差异巨大

某个版本的 system prompt 让回复变长 40%，但没人记得什么时候改的

token 费用月底突增，不知道哪段对话烧掉了最多的钱

Langfuse 就是解决这些问题的。

一次用户请求可能触发多次 LLM 调用（RAG 检索 + 重写 + 生成）。Langfuse 把这些调用串成一条 trace，可视化展示完整链路。

在线编辑 prompt，版本历史保留，支持 A/B test。比把 prompt 写在代码里硬编码灵活 10 倍。

按 user、session、model 维度统计 token 消耗和费用。直接对接 OpenAI、Anthropic 的定价，自动换算。

支持用户 thumbs up/down，也可以接入自动评分（用 LLM judge）。把"好对话"和"坏对话"自动标记，用于后续 fine-tune。

在内部客服机器人上跑了 2 周：

总 traces：12,847

平均 latency：1.8s（含 RAG 检索）

Token 成本：$142（比之前无监控节省 23%）

Prompt 迭代：从每周 1 次提升到每天 2 次

生产环境跑 LLM 应用的团队

需要 prompt 版本管理和 A/B test 的产品

对成本敏感的创业公司（想省钱就得先看到钱花在哪）

Langfuse 是 LLM 可观测性的事实标准——开源、成熟、社区活跃。只要你在生产环境跑 LLM，就需要它。