为 LangSmith 警报配置 PagerDuty 集成

概述

本指南将介绍使用 PagerDuty 的事件 API v2 将 PagerDuty 配置为 LangSmith 警报的通知通道的过程。此集成允许关键的 LLM 应用程序问题触发 PagerDuty 事件，从而通过您建立的事件管理工作流程实现快速响应。

先决条件

• 具有管理员访问权限的有效 PagerDuty 账户
• PagerDuty 中适当的服务级别权限

此外，如果在 LangSmith 的自定义部署中，请确保没有防火墙设置阻止来自 LangSmith 服务的出口流量。

集成步骤

第 1 步：在 PagerDuty 中创建服务

1. 登录您的 PagerDuty 帐户
2. 导航到 服务 → 服务目录
3. 点击 + New Service
4. 填写以下字段：
   • 名称：提供描述性名称（例如，“LangSmith Monitoring”）
   • 描述：添加有关受监控应用程序的详细信息
   • 升级策略：选择适当的团队升级策略
   • 集成类型：选择 “Events API V2”
5. 单击 Add Service 以创建服务

步骤 2：获取集成密钥

创建服务后，您需要检索集成密钥：

1. 在 Service Directory 的 Service 下拉菜单中，找到并单击您新创建的服务
2. 选择 Integrations 选项卡
3. 查找“Events API V2”集成
4. 复制集成密钥（一个 32 个字符的字母数字字符串）

第 3 步：使用 PagerDuty 配置 LangSmith 警报

1. 在 LangSmith 中警报设置的通知部分中，选择 PagerDuty
2. 将步骤 2 中的集成密钥粘贴到指定字段中
3. 配置其他通知选项：
   • 严重性：映射到 PagerDuty 事件优先级
4. 通过单击 Send Test Alert （发送测试警报） 来发送测试警报
5. 验证事件是否由 PagerDuty 触发并包含相关的 LangSmith 警报信息

故障 排除

如果未在 PagerDuty 中创建事件：

• 验证 LangSmith 中是否正确输入了集成密钥
• 确保 PagerDuty 服务处于活动状态且未处于维护模式
• 检查您的 PagerDuty 帐户是否启用了事件 API v2
• 如果您的 LangSmith 实例位于防火墙后面，请检查网络连接

其他资源

• PagerDuty 事件 API v2 文档
• PagerDuty 集成指南
• LangSmith 警报文档