为 LangSmith 警报配置 PagerDuty 集成
概览
本指南介绍如何使用 PagerDuty 的 Events API v2 配置 PagerDuty 作为 LangSmith 警报 的通知渠道。此集成可使关键的 LLM 应用问题触发 PagerDuty 事件,从而通过您既定的事件管理工作流程实现快速响应。
前置条件
- 具有管理员访问权限的活跃 PagerDuty 账户
- PagerDuty 中适当的服务级别权限
此外,如果您使用的是 LangSmith 的自定义部署,请确保没有防火墙设置阻止从 LangSmith 服务发出的出站流量。
集成步骤
步骤 1:在 PagerDuty 中创建服务
- 登录您的 PagerDuty 账户
- 导航至 服务 → 服务目录
- 点击 + 新建服务
- 完成以下字段:
- 名称: 提供一个描述性名称(例如:\"LangSmith 监控\")
- 描述: 添加有关被监控应用程序的详细信息
- 升级策略: 选择适当的团队升级策略
- 集成类型: 选择\"Events API V2\"
- 点击添加服务以创建服务
步骤 2:获取集成密钥
创建服务后,您需要检索集成密钥:
- 从服务下拉菜单下的服务目录中,找到并点击您 newly created service
- 选择集成选项卡
- 查找“Events API V2" }
- 复制 集成密钥(一个 32 位字母数字字符串)

步骤 3:配置 LangSmith 警报以与 PagerDuty 集成

- 在 LangSmith 中的警报设置的通知部分,选择 PagerDuty
- 将第 2 步中的 集成密钥 粘贴到指定字段中
- 配置其他通知选项:
- 严重程度: 映射到 PagerDuty 事件优先级
- 发送测试警报,请单击 发送测试警报
- 验证该事件是否由 PagerDuty 触发,并包含相关的 LangSmith 警报信息
故障排除
如果 PagerDuty 中未创建事件:
- 验证 LangSmith 中是否正确输入了集成密钥
- 确保 PagerDuty 服务处于激活状态且未处于维护模式
- 请确保您的 PagerDuty 账户已启用 Events API v2
- 如果您的 LangSmith 实例位于防火墙之后,请检查网络连接