内联注释追踪和运行
LangSmith 允许您在应用程序内手动为追踪添加反馈注释。这对于为追踪添加上下文(例如用户评论或关于特定问题的备注)非常有用。 您可以通过两种方式对追踪进行注释:直接内联注释,或将追踪发送到注释队列,以便您能够逐个仔细检查并记录对运行的反馈。 反馈标签与您的 工作区 相关联。
注意
您可以将用户反馈附加到跟踪(trace)中的任何中间运行(span),而不仅仅是根 span。 这对于批判 LLM 应用的具体部分非常有用,例如 RAG 流水线中的检索步骤或生成步骤。
要对跟踪进行内联注释,请单击任何特定运行(属于该跟踪的一部分)的跟踪视图右上角的Annotate。

这将打开一个窗格,允许您选择与工作区关联的反馈标签并为特定标签添加评分。您还可以添加独立的评论。请遵循此指南来为您的工作区设置反馈标签。 您也可以直接在该窗格内设置新的反馈标准。

您可以使用带标签的键盘快捷键来简化标注流程。