使用仪表板监控项目

控制面板可让您深入了解跟踪数据，帮助您发现趋势并监控应用程序的运行状况。LangSmith 提供两种仪表板类型：

• 预构建的控制面板：为每个跟踪项目自动生成。
• 自定义控制面板：根据您的需求量身定制的完全可配置的图表集合。

预构建的仪表板

系统会为每个项目自动创建预构建的控制面板，并涵盖基本指标，例如跟踪计数、错误率、令牌使用情况等。

注意

您无法修改预构建的控制面板。将来，我们计划允许您克隆默认控制面板，以便有一个自定义它的起点。

仪表板部分

预构建的控制面板分为以下部分：

部分	展示什么
Traces	Trace count, latency and error rates. A trace is a collection of runs related to a single operation. For example, if a user request triggers an agent, all runs for that agent invocation would be part of the same trace.
LLM Calls	LLM call count and latency. Includes all runs where run type is "llm".
Cost & Tokens	Total and per-trace token counts and costs, broken down by token type. Costs are measured using LangSmith's cost tracking.
Tools	Run counts, error rates, and latency stats for tool runs broken down by tool name. Includes runs where run type is "tool". Limits to top 5 most frequently occurring tools.
Run Types	Run counts, error rates, and latency stats for runs that are immediate children of the root run. This helps in understanding the the high-level execution path of agents. Limits to top 5 most frequently occuring tool names. 1
Feedback Scores	Aggregate stats for the top 5 most frequently occurring types of feedback. Charts show average score for numerical feedback and category counts for categorical feedback.

¹例如，对于以下跟踪，以下运行具有深度 共 1 页：

分组依据

Group by run 标签或元数据可用于按对应用程序很重要的属性拆分数据。Global group by （全局分组依据） 设置显示在控制面板的右上角。请注意，Tool （工具） 和 Run Type （运行类型） 图表已经应用了 group by（分组依据），因此全局 group by （分组依据） 不会生效;全局分组依据 将应用于所有其他图表。

提示

将元数据添加到运行时，我们建议在跟踪上具有相同的元数据，以及特定的运行（例如。LLM 调用）。元数据和标记不会从父运行传播到子运行，反之亦然。因此，如果您想查看跟踪图表和 LLM 调用图表都按某个元数据键分组，则跟踪（根运行）和 LLM 运行都需要附加该元数据。

自定义控制面板

创建定制的图表集合，以跟踪对应用程序最重要的指标。

创建新仪表板

1. 导航到左侧边栏中的 Monitor 选项卡。
2. 单击 + New Dashboard 按钮。
3. 为您的控制面板命名和描述。
4. 单击 Create。

将图表添加到仪表板

1. 在仪表板中，单击 + New Chart 按钮以打开图表创建窗格。
2. 为图表指定名称和说明。
3. 配置图表。

图表配置

选择跟踪项目并筛选运行

• 选择要跟踪其指标的一个或多个跟踪项目。
• 使用 Chart filters （图表筛选器） 部分来优化匹配的运行。此筛选条件适用于图表中的所有数据系列。有关筛选跟踪的更多信息，请查看我们的指南：在应用程序中筛选跟踪。

选择指标

• 从下拉菜单中选择一个指标以设置图表的 y 轴。选择项目和指标后，您将看到图表和匹配运行的预览。
• 对于某些指标（例如延迟、令牌使用情况、成本），我们支持将多个指标与同一单元进行比较。例如，您可能希望看到一个图表，您可以在其中查看提示令牌和完成令牌。每个量度都显示为单独的行。

拆分数据

有两种方法可以在图表中创建多个系列（即在图表中创建多条线）：

1. Group by：按运行标签或元数据、运行名称或运行类型对运行进行分组。Group by 根据所选字段自动将数据拆分为多个系列。请注意，group by 仅限于频率排名前 5 的元素。

2. 数据系列：使用单个过滤器手动定义多个系列。这对于比较单个量度中的粒度数据非常有用。

选择图表类型

• 在折线图和条形图之间进行选择以进行可视化

保存和管理图表

• 点击Save将图表保存到控制面板。
• 通过单击图表右上角的三个点按钮来编辑或删除图表。
• 通过单击图表右上角的三线按钮并选择 + 克隆来克隆图表。这将打开一个新的图表创建窗格，其配置与原始图表相同。

从跟踪项目链接到控制面板

您可以直接从跟踪项目链接到控制面板。默认情况下，跟踪项目的预构建控制面板处于选中状态。如果您有想要链接的自定义控制面板：

1. 在跟踪项目中，单击 Dashboard （控制面板） 选择器旁边的铅笔图标。
2. 选择要设置为新默认值的控制面板。

示例：用户旅程监控

使用监控图表来映射代理在特定节点上做出的决策。

考虑电子邮件助理代理。在特定节点，它会决定将电子邮件发送给：

• 发回电子邮件
• 通知用户
• 无需响应

我们可以创建一个图表来跟踪和可视化这些决策的细分。

创建图表

1. Metric Selection：选择指标Run count.

2. 图表筛选器：添加树筛选器以包含名称triage_input.这意味着我们只包含命中triage_input节点。同时为Is Root是true，因此我们的计数不会因跟踪中的节点数而膨胀。

3. 数据系列：为在triage_input节点。决策的输出存储在triage.responsefield 中， ，决策的值是no,email或notify.这些决策中的每一个都会在图表中生成一个单独的数据系列。

现在，我们可以可视化在triage_input节点。