LLM 提示词的 A/B 测试

Langfuse 提示词管理通过允许你为提示词的不同版本打标签(例如 prod-a 和 prod-b)来支持 A/B 测试。你的应用可以在这些版本之间随机交替,而 Langfuse 会追踪每个版本的性能指标,如响应延迟、成本、token 用量和评估指标。

何时使用 A/B 测试?

A/B 测试帮助你看到不同提示词版本在真实场景中的表现,作为数据集测试之外的补充。它在以下情况效果最好:

• 你的应用有良好的成功度量方式,能处理多种不同的用户输入,并能承受一定的性能波动。这通常适用于错误影响不大的消费级应用。
• 你已经在测试数据上充分测试过,想在向所有用户推出之前,先在一小部分用户身上试用你的变更(也称为金丝雀部署)。

实现

相关资源

• 要在数据集上对完整应用行为做基准测试(而不仅是提示词选择),请使用实验。