记录用户反馈

推荐阅读

在深入本内容之前，阅读以下内容可能会有所帮助：

• 关于追踪和反馈的概念指南
• 反馈数据格式参考指南

在许多应用中，尤其是对于 LLM 应用而言，收集用户反馈以了解您的应用在实际场景中的表现至关重要。 将用户反馈与追踪数据结合观察，能够非常有效地深入分析最有趣的数据点，随后将这些数据点发送进行进一步审查、自动评估，甚至构建数据集。 如需了解更多关于如何基于各种属性（包括用户反馈）过滤追踪数据的方法，请参阅 此指南。

LangSmith 使将用户反馈附加到追踪记录变得简单。 通常，暴露一个简单的机制（例如点赞或点踩按钮）来收集应用程序响应的用户反馈是非常有帮助的。然后，您可以使用 LangSmith SDK 或 API 为追踪记录发送反馈。若要获取已记录运行的 run_id，请参阅 此指南。

注意

您可以将用户反馈附加到跟踪（trace）中的任何中间运行（span），而不仅仅是根 span。 这对于批判 LLM 应用的具体部分非常有用，例如 RAG 流水线中的检索步骤或生成步骤。

Python

from langsmith import Client

client = Client()

# ... Run your application and get the run_id...
# This information can be the result of a user-facing feedback form

client.create_feedback(
  run_id,
  key="feedback-key",
  score=1.0,
  comment="comment",
)

TypeScript

import { Client } from "langsmith";
const client = new Client();

// ... Run your application and get the run_id...
// This information can be the result of a user-facing feedback form

await client.createFeedback(
  runId,
  "feedback-key",
  {
      score: 1.0,
      comment: "comment",
  }
);