注释跟踪和内联运行
LangSmith 允许您在应用程序中使用反馈手动注释跟踪。这对于向跟踪添加上下文非常有用,例如用户的评论或有关特定问题的注释。 您可以内联方式或通过将跟踪发送到注释队列来注释跟踪,这样您就可以仔细检查和记录反馈,以便一次运行一个。 反馈标签与您的工作区相关联。
注意
您可以将用户反馈附加到跟踪的任何中间运行 (span),而不仅仅是根 span。 这对于批评 LLM 应用程序的特定部分非常有用,例如 RAG 管道的检索步骤或生成步骤。
要内联注释跟踪,请单击Annotate在跟踪视图的右上角,用于跟踪。

这将打开一个窗格,允许您从与工作区关联的反馈标签中进行选择,并为特定标签添加分数。您还可以添加独立注释。按照本指南为您的工作区设置反馈标签。 您还可以从窗格本身中设置新的反馈标准。

您可以使用带标签的键盘快捷键来简化注释过程。