使用注释队列

注释队列是一项强大的 LangSmith 功能，可为人工注释者提供简化的定向视图，以便将反馈附加到特定运行。虽然您始终可以内联注释运行，但注释队列提供了另一个选项，可以将运行分组在一起，然后让注释者对其进行审查并提供反馈。

创建注释队列

要创建注释队列，请通过主页或左侧导航栏导航到 Annotation queues 部分。然后单击右上角的 + New annotation queue。

在表单中填写队列的名称和描述。您还可以将默认数据集分配给队列，这将简化将某些运行的输入和输出发送到 LangSmith 工作区中的数据集的过程。

首先为您的注释者起草一些高级说明，这些说明将在每次运行时显示在侧边栏中。

接下来，单击“+ 所需反馈”将反馈键添加到您的注释队列中。注释者将在每次运行时获得这些反馈密钥。为每个类别添加描述，如果反馈是分类的，则为每个类别添加简短描述。

注释队列评分量规

审阅者将看到以下内容：

注释者的评分标准

有一些与多个注释器相关的设置：

每次运行的审阅者数量：这决定了必须将运行标记为“完成”才能将其从队列中删除的审阅者数量。如果选中“All workspace members review each run”（所有工作区成员都审阅每次运行），则运行将保留在队列中，直到所有工作区成员都将其标记为“Done”（完成）。
在运行时启用预留：我们建议启用预留。这将防止多个注释者同时查看同一运行。

当审阅者查看运行时，该运行将保留给该审阅者指定的“预留长度”。如果每个运行有多个审阅者，如上所述，则可以同时由多个审阅者保留该运行（最多为每次运行的审阅者数）。

如果审阅者查看了运行，然后离开运行而未将其标记为“完成”，则预留将在指定的“预留长度”后过期。然后，该运行将释放回队列中，并可由其他审阅者保留。

注意

点击 “Requeue at end” 只会将当前运行移动到当前用户队列的末尾;它不会影响任何其他用户的队列顺序。它还将释放当前用户在该运行中拥有的预留。

由于这些设置，注释队列中个人可见的运行数可能（并且很可能）与队列中的运行总数以及其他任何人的队列大小不同。

您可以随时通过单击 Annotation Queues 部分中的铅笔图标来更新这些设置。

要将运行分配给注释队列，请执行以下任一作：

单击任何跟踪视图右上角的 Add to Annotation Queue。您可以将跟踪的任何中间运行（span）添加到注释队列中，而不仅仅是根 span。
在运行表中选择多个运行，然后单击页面底部的 Add to Annotation Queue。
设置一个自动化规则，该规则会自动分配将特定筛选条件和采样条件传递给注释队列的运行。
从数据集页面中选择一个或多个实验，然后单击 Annotate。在生成的弹出窗口中，您可以创建新队列或将运行添加到现有队列：

提示

将具有特定用户反馈分数（例如，竖起大拇指、竖起大拇指）的运行从应用程序分配到注释队列通常是一个非常好的主意。这样，您可以识别并解决导致用户不满的问题。要了解有关如何从 LLM 应用程序捕获用户反馈的更多信息，请遵循本指南。

要查看注释队列中的运行，请通过主页或左侧导航栏导航到 Annotation Queues 部分。然后单击要查看的队列。这将带您进入队列中需要审核的运行的重点循环视图。

您可以附加注释、附加特定反馈标准的分数、添加运行数据集和/或将运行标记为已审阅。您还可以通过单击“View run（查看运行）”旁边的 Trash （垃圾桶）图标，从所有用户的队列中删除运行，而不管队列当前有任何预留或设置。

显示的键盘快捷键有助于简化审核流程。