使用标注队列
标注队列是 LangSmith 的一项强大功能，为人类标注者提供简洁、定向的视图，以便将反馈附加到特定的运行（runs）上。 虽然您始终可以 在行内标注运行，但标注队列提供了另一种选项：将运行分组，然后让标注者对其进行审查并提供反馈。
创建一个标注队列
要创建标注队列，请通过主页或左侧导航栏进入标注队列部分。 然后点击右上角的+ 新建标注队列。
基本信息
请使用队列的 名称 和 描述 填写表单。 您还可以为队列分配一个 默认数据集，这将简化将某些运行的输入和输出发送到 LangSmith 工作区中数据集的过程。
标注规范
首先，为您的标注人员起草一些高级指令，这些指令将在每次运行时显示在侧边栏中。
接下来，点击“+ Desired Feedback”以将反馈键添加到您的标注队列中。标注人员将在每次运行时看到这些反馈键。 为每个反馈键添加描述，如果反馈是分类的，请同时为每个类别添加简短描述。
审查员将看到以下内容：
协作者设置
有几个与多个标注者相关的设置：
- 每次运行的评审者数量：这决定了必须有多少名评审者将某次运行标记为“完成”，该运行才会从队列中移除。如果您勾选了“所有工作区成员需评审每次运行”，则只要还有任何工作区成员未将该运行标记为“完成”，它就会一直保留在队列中。
- 在运行中启用预留：我们建议启用预留功能。 这将防止多个标注者同时审查同一个运行任务。
- 预订是如何工作的？
当评审者查看一个运行时，该运行会被预留指定长度的时间给该评审者。如果每个运行有多个评审者（如上所述），则该运行可以同时被多个评审者预留（最多为每个运行的评审者数量）。
- 如果时间用完了会发生什么？
如果审阅者已查看某个运行任务，随后在未将其标记为“完成”的情况下离开，则该预订将在指定的“预订时长”后过期。 该运行任务将被释放回队列，并可供其他审阅者预订。
点击\"在末尾重新排队\"仅会将当前运行移至当前用户队列的末尾；不会影响任何其他用户的队列顺序。它还将释放当前用户对该运行的保留。
由于这些设置，个人在标注队列中可见的运行数量可能与队列中的运行总数以及任何其他人的队列大小不同。
您可以通过点击注释队列部分中的铅笔图标随时更新这些设置。
将运行任务分配给标注队列
要将运行分配给注释队列，可以：
-
点击添加到注释队列 在任意跟踪视图的右上角。您可以将跟踪的任何中间运行（跨度）添加到注释队列，而不仅仅是根跨度。
-
在运行表格中选择多个运行，然后点击添加到注释队列 在页面底部。
-
设置自动化规则，该规则可自动将通过特定筛选条件和采样条件的运行任务分配至标注队列。
-
从数据集页面选择一个或多个实验，然后点击 标注. 从生成的弹出窗口中，您可以创建新队列或将运行添加到现有队列：
通常，将具有特定用户反馈评分（例如点赞、点踩）的应用程序运行结果分配给注释队列是一个非常好的主意。这样，您可以识别并解决导致用户不满的问题。 要了解如何从您的 LLM 应用程序中捕获用户反馈，请遵循此指南。
审查运行在标注队列中
若要审查标注队列中的运行记录，请通过主页或左侧导航栏进入标注队列部分。 然后点击您想要审查的队列。这将带您进入一个专注于队列中需要审查的运行记录的循环视图。
您可以附加评论，为特定的反馈标准附加评分，添加数据集运行和/或将运行标记为已审核。 您也可以通过点击“查看运行”旁边的垃圾桶图标，将运行从所有用户的队列中移除，无论当前对队列的预订或设置如何。
显示的键盘快捷键可以帮助简化审查流程。
