LLM Playground
直接在 Langfuse Prompt Playground 中测试和迭代你的提示词。调整提示词和模型参数,观察不同模型对这些输入变化的响应。这让你能够快速迭代提示词,并为 LLM 应用优化出最佳结果——无需在工具之间切换,也无需编写任何代码。
核心功能
并排对比视图
将多个提示词变体并排对比。可以一次性全部执行,也可以聚焦于单个变体。每个变体都保留自己的 LLM 设置、变量、工具定义和占位符,让你立即看到每个变更带来的影响。
在 playground 中打开你的提示词
你可以在 playground 中打开用 Langfuse 提示词管理创建的提示词。
将提示词保存到提示词管理
当你对提示词满意后,可以点击保存按钮将它保存到提示词管理。
在 playground 中打开 generation
你可以在 generation 详情页点击 Open in Playground 按钮,把 Langfuse 可观测性中的 generation 在 playground 中打开。
工具调用与结构化输出
Langfuse Playground 支持工具调用(tool calling)和结构化输出 schema,让你能够定义、测试和校验依赖工具调用、并强制特定响应格式的 LLM 执行。
目前,Langfuse 仅支持在 playground 中打开 OpenAI ChatML 格式的 tool 类型 observations。如果你希望支持更多格式,欢迎到我们的公开路线图提交需求。
工具调用
- 使用 JSON schema 定义自定义工具
- 通过模拟(mock)工具响应,实时测试依赖工具的提示词
- 将工具定义保存到你的项目
结构化输出
- 使用 JSON schema 强制响应格式
- 将 schema 保存到你的项目
- 从使用结构化输出的 OpenAI generation 直接跳转进 playground
添加提示词变量
你可以在 playground 中添加提示词变量,模拟提示词的不同输入。
使用你喜欢的模型
你可以在 Langfuse 项目设置中为想使用的模型添加 API key,从而使用你喜欢的模型。你可以在这里了解如何配置 LLM 连接。
可选地,许多 LLM 提供商在调用模型时允许额外参数。你可以在模型选择下拉框中开启 "Additional Options" 来传递这些参数。阅读这份关于额外提供商选项的文档了解更多信息。
相关资源
- 如需在数据集上对提示词和模型变体进行结构化回归测试,请使用实验。