通过 UI 手动打分

通过 UI 添加分数是一种人工评估方法。它用于协作地为 traces、sessions 和 observations 标注评估分数。

你也可以使用标注队列来更顺畅地审阅大批量的 traces、sessions 和 observations。

为什么通过 UI 手动添加分数?

• 允许多个团队成员手动审阅数据,并通过多样化的专业知识提高准确性。
• 标准化的分数配置和标准,确保不同工作流和打分类型之间的数据标注一致。
• 人工基线为基准测试其他分数、以及从生产日志中整理高质量数据集提供了参考点。

逐步配置

1. 创建分数配置

要在 UI 中添加分数，你需要至少设置一个分数配置。详情参见如何创建和管理分数配置。

2. 添加分数

在 Trace、Session 或 Observation 详情视图上点击 Annotate 打开标注表单。

3. 选择要使用的分数配置

4. 设置分数值

5. 添加分数评论（可选）

6. 查看分数

要查看你在 traces 或 observations 上新添加的分数，点击 trace 或 observation 详情视图上的 Scores 标签页。

为实验添加分数

当通过 UI 运行实验或通过 SDK运行时,你可以直接从实验对比视图标注结果。

前提条件:

• 为你想评估的维度配置分数配置
• 执行通过 UI 的实验或 SDK 以生成待审阅的结果

对比视图保留完整的实验上下文:输入、输出和自动分数,而你审阅每个条目。当你添加标注分数时,汇总指标会更新,让你能够追踪整个实验的进度。