记录用户反馈

推荐阅读

在深入研究此内容之前，阅读以下内容可能会有所帮助：

• 跟踪和反馈概念指南
• 反馈数据格式参考指南

在许多应用程序中，但对于 LLM 应用程序来说更是如此，收集用户反馈以了解应用程序在实际场景中的性能非常重要。 观察用户反馈和跟踪数据的能力非常强大，可以深入研究最有趣的数据点，然后将这些数据点发送以供进一步查看、自动评估甚至数据集。 要详细了解如何根据各种属性（包括用户反馈）筛选跟踪记录，请参阅本指南

LangSmith 可以轻松地将用户反馈附加到跟踪。 公开一个简单的机制（例如竖起大拇指、竖起大拇指按钮）来收集应用程序响应的用户反馈通常很有帮助。然后，您可以使用 LangSmith SDK 或 API 发送跟踪反馈。要获取run_id，请参阅本指南。

注意

您可以将用户反馈附加到跟踪的任何中间运行 （span），而不仅仅是根 span。 这对于批评 LLM 应用程序的特定部分非常有用，例如 RAG 管道的检索步骤或生成步骤。

蟒

from langsmith import Client

client = Client()

# ... Run your application and get the run_id...
# This information can be the result of a user-facing feedback form

client.create_feedback(
  run_id,
  key="feedback-key",
  score=1.0,
  comment="comment",
)

TypeScript （类型脚本）

import { Client } from "langsmith";
const client = new Client();

// ... Run your application and get the run_id...
// This information can be the result of a user-facing feedback form

await client.createFeedback(
  runId,
  "feedback-key",
  {
      score: 1.0,
      comment: "comment",
  }
);