设置自动化规则
虽然您可以从我们的 LLM 应用程序中手动筛选和处理生产日志，但随着您的应用程序扩展到更多用户，这通常会变得困难。 LangSmith 提供了一项称为自动化的强大功能，允许您对跟踪数据触发某些作。 概括地说，自动化由过滤器、采样率和作定义。
自动化规则可以触发在线评估、向数据集添加跟踪的输入/输出、添加到注释队列以及触发 Webhook 等作。
您可以设置的自动化示例可以是“触发在线评估，对我所有被反对的跟踪进行模糊性评分”。
创建规则
下面我们将概述在 LangSmith 中创建自动化规则的步骤。
第 1 步：导航到规则创建
要创建规则，请单击任何项目详细信息页面右上角的 Rules，然后滚动到底部并单击 + Add Rule。
或者，您也可以通过导航到此链接来访问设置中的规则，单击 + 添加规则，然后单击 项目规则.
目前可以创建两种类型的规则：Project Rule 和 Dataset Rule。
- Project Rule：此规则将应用于指定项目中的跟踪。允许的作包括添加到数据集、添加到注释队列、运行在线评估和触发 Webhook。
- 数据集规则：此规则将应用于指定数据集中实验的跟踪。允许的作仅对实验结果运行计算器。要查看实际效果，您可以按照本指南进行作。
为规则命名，例如 “my_rule”：
第 2 步：定义过滤器
您可以像往常一样创建筛选条件来筛选项目中的跟踪。有关筛选条件的更多信息，您可以参考 本指南.
（可选）步骤 3：将规则应用于过去的运行
创建新规则时，您也可以将该规则应用于过去的运行。为此，请选中 Apply to Past Runs 复选框，然后输入 Backfill From date 作为 开始日期以应用规则。
这将从 Backfill From 日期开始，并应用运行规则，直到赶上最新的运行。
请注意，如果您想查看回填的进度，则必须扩展日志的日期范围，有关详细信息，请参阅查看自动化的日志。
第 4 步：定义采样率
您可以为自动化指定采样率（介于 0 和 1 之间）。这将控制发送到自动化作的筛选运行的百分比。例如，如果您将采样率设置为 0.5，则通过筛选条件的跟踪的 50% 将发送到作。
步骤 5：定义作
您可以使用自动化规则执行 4 项作：
- Add to dataset（添加到数据集）：将跟踪的输入和输出添加到数据集中。
- Add to annotation queue（添加到注释队列）：将跟踪添加到注释队列。
- Run online evaluation（运行在线评估）：对跟踪运行在线评估。有关在线评估的更多信息，您可以参考本指南。
- 触发 Webhook：使用跟踪数据触发 Webhook。有关 Webhook 的更多信息，您可以参考本指南。
- 延长数据保留期：延长使用基本保留期的匹配跟踪的数据保留期（有关更多详细信息，请参阅数据保留文档）。 请注意，所有其他规则还将通过 自动升级机制，如上述数据保留文档中所述， 但此规则不执行其他作。
查看自动化的日志
您可以前往Settings -> Rules并单击Logs按钮。
您还可以通过单击Rules在任何项目详细信息页面的右上角，然后单击See Logs对于任何规则。
日志可让您确信您的规则正在按预期工作。您现在可以查看日志，这些日志列出了给定规则在过去一天处理的所有运行。对于应用在线评估分数的规则，您可以轻松查看输出分数并导航到运行。对于将运行作为示例添加到数据集的规则，您可以查看生成的示例。 如果特定规则执行触发了错误，则可以将鼠标悬停在错误图标上来查看错误消息。
默认情况下，规则日志仅显示最后一天发生的运行的结果。要查看较早运行的结果，您可以选择 Last 1 day 并输入所需的日期范围。 将规则应用于过去的运行时，处理将从开始日期开始并向前进行，因此在回填过程中需要查看日志。
如果您更喜欢视频教程，请观看 LangSmith 简介课程中的自动化视频。