使用仪表板监控项目

仪表板可为您提供关于追踪数据的高层洞察，帮助您发现趋势并监控应用程序的健康状况。LangSmith 提供两种类型的仪表板：

• 预构建仪表板：为每个追踪项目自动生成。
• 自定义仪表板：完全可配置的图表集合，可根据您的需求进行定制。

预建仪表板​

预构建的仪表板会为每个项目自动生成，涵盖跟踪次数、错误率、令牌使用情况等关键指标。

注意

您无法修改预构建的仪表板。未来，我们计划允许您克隆默认仪表板，以便作为自定义的起点。

仪表板部分​

预构建的仪表板分为以下部分：

章节	显示内容
Traces	Trace count, latency and error rates. A trace is a collection of runs related to a single operation. For example, if a user request triggers an agent, all runs for that agent invocation would be part of the same trace.
LLM Calls	LLM call count and latency. Includes all runs where run type is "llm".
Cost & Tokens	Total and per-trace token counts and costs, broken down by token type. Costs are measured using LangSmith's cost tracking.
Tools	Run counts, error rates, and latency stats for tool runs broken down by tool name. Includes runs where run type is "tool". Limits to top 5 most frequently occurring tools.
Run Types	Run counts, error rates, and latency stats for runs that are immediate children of the root run. This helps in understanding the the high-level execution path of agents. Limits to top 5 most frequently occuring tool names. 1
Feedback Scores	Aggregate stats for the top 5 most frequently occurring types of feedback. Charts show average score for numerical feedback and category counts for categorical feedback.

¹ 例如，对于以下跟踪，以下运行的深度为1：

分组​

按 运行标签或元数据 分组可用于根据对您的应用重要的属性拆分数据。全局分组设置显示在仪表板的右上角。请注意，工具和运行类型图表已应用了分组，因此全局分组不会生效；全局分组将应用于所有其他图表。

提示

在为运行添加元数据时，我们建议在跟踪（trace）以及具体的运行（例如：LLM 调用）上都包含相同的元数据。元数据和标签不会从父级运行传播到子级运行，也不会反向传播。因此，如果您希望在某个元数据键上同时查看跟踪图表和 LLM 调用图表的分组情况，那么您的跟踪（根运行）和 LLM 运行都需要附带该元数据。

自定义仪表板​

创建定制的图表集合，用于跟踪对您的应用程序最重要的指标。

创建一个新的仪表板​

1. 转到左侧边栏中的 监控 选项卡。
2. 点击 + 新建仪表板 按钮。
3. 为您的仪表板命名并添加描述。
4. 点击 创建。

添加图表到您的仪表板​

1. 在仪表板中，点击 + 新建图表 按钮以打开图表创建面板。
2. 为您的图表命名并添加描述。
3. 配置图表。

图表配置​

选择跟踪项目并筛选运行​

• 选择一个或多个跟踪项目以跟踪相关指标。
• 使用 图表筛选器 部分来细化匹配的运行记录。此筛选器适用于图表中的所有数据序列。有关筛选迹线的更多信息，请查看我们的在应用程序中筛选迹线指南。

选择一个指标​

• 从下拉菜单中选择一个指标来设置图表的 y 轴。选择项目和指标后，您将看到图表的预览以及匹配的运行结果。
• 对于某些指标（例如延迟、令牌使用量、成本），我们支持比较具有相同单位的多个指标。例如，您可能希望在一个图表中同时查看提示令牌和生成完成的令牌。每个指标将显示为一条独立的线。

拆分数据​

在图表中创建多个系列（即在图表中创建多条线）有两种方法：

1. 分组依据：按运行标签或元数据、运行名称或运行类型对运行进行分组。分组会根据所选字段自动将数据拆分为多个序列。请注意，分组仅限于按频率排名前5的元素。

2. 数据系列：手动定义具有独立筛选条件的多个系列。这在单个指标内比较细粒度数据时非常有用。

选择一个图表类型​

• 选择线形图或条形图进行可视化

保存和管理图表​

• 点击 Save 将您的图表保存到仪表板。
• 点击图表右上角的三点按钮，可编辑或删除该图表。
• 点击图表右上角的三条线按钮，然后选择 + 克隆 来克隆一个图表。这将打开一个新的图表创建面板，其配置与原始图表相同。

从追踪项目链接到仪表板​

您可以直接从跟踪项目链接到仪表板。默认情况下，将选择为您的跟踪项目预构建的仪表板。如果您希望链接到自定义仪表板，请执行以下操作：

1. 在您的跟踪项目中，点击仪表板选择器旁边的铅笔图标。
2. 选择一个仪表板作为新的默认设置。

示例：用户旅程监控​

使用监控图表来映射代理在特定节点上做出的决策。

考虑一个电子邮件助手代理。在特定节点上，它会对电子邮件做出以下决定：

• 回复一封电子邮件
• 通知用户
• 无需响应

我们可以创建一个图表来跟踪和可视化这些决策的分解情况。

创建图表

1. 指标选择：选择指标 Run count。

2. 图表筛选器：添加一个树形过滤器，以包含所有名称为 triage_input. 这意味着我们只包含那些命中的跟踪triage_input 节点。同时添加一个图表筛选器以Is Root is true，因此我们的计数不会因为跟踪中的节点数量而被夸大。

3. 数据系列：为在triage_input 节点。决策的输出将存储在triage.response 输出对象的字段， 决策的值要么是 no, email, or notify. 这些决策中的每一个都会在图表中生成一个独立的数据序列。

现在我们可以随时间可视化在 triage_input 节点上做出的决策。