文档 / 标注队列(Annotation Queues)
标注队列(Annotation Queues)
标注队列是一种人工评估方法,专为领域专家设计,用于为 traces、observations 或 sessions 添加分数和评论。
为什么使用标注队列?
- 人工探索应用结果,并为其添加分数和评论
- 让领域专家为一部分 traces 添加分数和评论
- 添加修正后的输出,记录模型本应生成的内容
- 让你的 LLM-as-a-Judge 评估与人工标注保持一致
逐步配置
在 Langfuse UI 中创建标注队列,配置评分项(score configs)、说明和队列成员,然后将 traces 加入队列即可开始人工审阅。
键盘快捷键
处理队列完全由键盘驱动,你无需碰鼠标即可为条目打分。快捷键遵循"先导航、后编辑"的模式,并且在你输入文本字段时,或对话框/下拉框打开时会被屏蔽。在队列中按 ? 可打开应用内快捷键速查表。
| 按键 | 操作 |
|---|---|
→ / ← |
队列中的下一个 / 上一个条目 |
↑ / ↓ |
在分数字段之间移动(到两端后循环) |
1–9 |
选择分类或布尔字段中的第 N 个选项 |
Enter |
提交当前值,或打开下拉框 |
Esc |
离开文本字段,返回字段导航 |
Cmd/Ctrl + Enter |
完成当前条目并前进到下一个 |
? |
打开键盘快捷键速查表 |
当字段获得焦点时,分类选项上会显示数字角标;Mark Completed 按钮上会显示 ⌘↵ / Ctrl↵ 提示。分数字段快捷键(↑/↓、1–9、Enter、Esc)在 trace、observation 和 session 页面的内联 Annotate 抽屉中同样有效;队列导航键(→/←、Cmd/Ctrl + Enter)在处理队列时适用。
通过 API 管理标注队列
你可以通过 API 管理标注队列。这让你能够规模化和自动化标注工作流,或将 Langfuse 作为自定义 vibe coded 标注工具的后端。