可观测性与应用追踪
由于 AI 本质上是非确定性的,在没有任何可观测性工具的情况下调试应用,更像是在猜测。 实现良好的可观测性,能让你拥有理解应用内部正在发生什么、以及为什么会这样的工具。
其核心是应用追踪(application tracing)——为每个请求记录结构化日志,捕获发送的确切提示词、模型的响应、token 用量、延迟,以及中间的每一个工具或检索步骤。
Langfuse 会在你构建应用的过程中自动捕获这一切。下面是 Langfuse UI 中一个 trace 的示例:
观看本演示视频,了解 Langfuse 可观测性以及如何将它集成到你的应用中。
开始使用
花点时间理解 Langfuse 中追踪的核心概念:traces、sessions 和 observations。
跑起来之后,你就可以开始为 traces 添加更多功能。我们推荐从以下几项开始:
- 将多轮应用的 traces 分组为 sessions
- 按应用的不同阶段将 traces 拆分到不同环境
- 为 traces 添加属性,便于日后过滤
- 使用自定义 trace ID 实现分布式追踪
- 追踪成本与 token 用量
已经知道想要什么?查看 Features 下的具体主题指南。
常见问题
可观测性和追踪有什么区别?
**可观测性(Observability)**是一种更广泛的能力,指从系统的输出来理解其内部状态。它涵盖追踪、指标和日志。**追踪(Tracing)**是一种具体的可观测性技术,记录请求在系统中流转的过程,并保留操作之间的因果关系。在 LLM 应用的场景下,追踪是最重要的可观测性工具,因为它捕获每个请求的完整上下文——提示词、响应、工具调用,以及它们之间的关系。
什么是应用追踪?
应用追踪记录一个请求在系统中流转的完整生命周期。每个 trace 捕获每一个操作——LLM 调用、检索步骤、工具执行和自定义逻辑——以及它们的耗时、输入、输出和元数据。这让你对每次请求中发生的事情拥有完整的可见性,从而支持调试、性能优化和质量监控。
Langfuse 与其他追踪方案相比如何?
Langfuse 是为 LLM 应用量身打造的,这意味着它原生理解 LLM 专属的概念,如 token 用量、模型参数、提示词/补全配对,以及评估分数。与通用的 APM 工具不同,Langfuse 提供了面向 AI 工程的专属功能:LLM-as-a-Judge 评估、提示词管理、实验与数据集,以及自定义仪表盘。它还是开源的,可以自托管。
Langfuse 会给我的应用增加延迟吗?
不会。Langfuse SDK 在后台异步发送追踪数据。Trace 事件在本地排队并批量刷新,因此不会影响应用的响应时间。详见队列与批处理。