设置自动化规则
虽然您可以手动筛选和处理来自我们 LLM 应用的生产日志，但随着您的应用扩展到更多用户，这往往会变得困难。 LangSmith 提供了一个名为自动化（automations）的强大功能，允许您针对跟踪数据触发某些操作。 从宏观层面来看，自动化由 过滤器、采样率 和 操作 定义。
自动化规则可以触发诸如在线评估、将追踪的输入/输出添加到数据集、添加到标注队列以及触发网络钩子等操作。
一个你可以设置的自动化示例是“触发针对所有我点踩的轨迹进行模糊度评分的在线评估。”
创建规则
我们将在下面概述在 LangSmith 中创建自动化规则的步骤。
步骤 1：导航至规则创建
要创建规则，请点击任何项目详情页面右上角的Rules，然后滚动到底部并点击+ Add Rule。
或者, 您可以通过导航到 此链接 在设置中访问规则，点击 + 添加规则，然后选择 项目规则。
目前您可以创建两种类型的规则：项目规则和数据集规则。
- 项目规则: 此规则将适用于指定项目中的追踪。允许的操作包括添加到数据集、添加到标注队列、运行在线评估以及触发网络钩子。
- 数据集规则: 此规则将适用于指定数据集中实验的追踪记录。允许的操作仅包括在实验结果上运行评估器。要查看其实际应用，您可以参考本指南。
为你的规则命名，例如 \"my_rule\"：
步骤 2：定义过滤器
您可以像往常一样创建过滤器，以过滤项目中的跟踪。有关过滤器的更多信息，您可以参考此指南。
(可选) 步骤 3：将规则应用于历史运行
创建新规则时，您也可以将该规则应用于过往运行。为此，请选中应用于过往运行复选框，并输入回溯起始日期作为应用该规则的起始日期。
这将从回补起始日期开始，并应用运行规则，直到与最新运行同步。
请注意，如果您想查看回填的进度，则需要扩展日志的日期范围，详细信息请参见 查看您的自动化日志。
步骤 4：定义采样率
您可以为自动化设置采样率（介于 0 到 1 之间）。这将控制被筛选通过的运行中有多少百分比会被发送到自动化操作。例如，如果您将采样率设置为 0.5，那么通过筛选的追踪中有 50% 会被发送到该操作。
步骤 5：定义操作
您可以对自动化规则执行以下四种操作：
- 添加到数据集: 将追踪的输入和输出添加到数据集中。
- 添加到标注队列: 将追踪记录添加到标注队列。
- 运行在线评估：在跟踪上运行在线评估。有关在线评估的更多信息，您可以参考此指南。
- 触发网络钩子: 使用追踪数据触发一个网络钩子。关于网络钩子的更多信息，您可以参考 此指南。
- 延长数据保留期：延长使用基础保留期的匹配跟踪的数据保留期（有关更多详细信息，请参阅数据保留文档）。 请注意，所有其他规则也会通过上述数据保留文档中描述的自动升级机制延长匹配跟踪的数据保留期， 但此规则不会采取任何额外操作。
查看您的自动化日志
您可以通过前往 Settings -> Rules 并点击任意行中的 Logs 按钮来查看您自动化的日志。
您也可以通过点击任何项目详情页面右上角的 Rules，然后点击任意规则的 See Logs 来访问日志。
日志功能可帮助您确认规则是否按预期运行。您现在可以查看日志，其中列出了过去一天内由给定规则处理的所有运行记录。对于应用在线评估分数的规则，您可以轻松查看输出分数并导航至对应的运行记录；对于将运行记录作为示例添加到数据集中的规则，您可以查看生成的示例。 如果某次规则执行触发了错误，您可以通过将鼠标悬停在错误图标上来查看错误信息。
默认情况下，规则日志仅显示过去一天内运行的结果。若要查看更早运行的结果，您可以选择最近 1 天并输入所需的日期范围。 在将规则应用于过往运行时，处理将从开始日期向前进行，因此需要在回填（backfill）过程中查看日志。
如果您更喜欢视频教程，请查看来自 LangSmith 课程介绍的 Automations 视频。