在无服务器环境中跟踪JS函数

注意

本节适用于使用 LangSmith JS SDK 0.2.0 及更高版本的开发者。 如果您在 serverless 环境中使用 LangChain.js 或 LangGraph.js 进行追踪，请参阅 此指南。

在追踪 JavaScript 函数时，LangSmith 默认会在后台追踪运行，以避免增加延迟。 在无服务器环境中，执行上下文可能会突然终止，因此确保在函数完成前所有追踪数据都被正确刷新非常重要。

为了确保这一点发生，您可以：

• 设置一个名为 LANGSMITH_TRACING_BACKGROUND 的环境变量为 "false"。这将导致您的追踪函数在返回前等待追踪完成。
  • 请注意，这与 LangChain.js 中的 环境变量 名称不同，因为 LangSmith 可以独立于 LangChain 使用。
• 将自定义客户端传入您的追踪运行中，并await调用client.awaitPendingTraceBatches();方法。

这是一个使用awaitPendingTraceBatches与traceable方法的示例：

import { Client } from "langsmith";
import { traceable } from "langsmith/traceable";

const langsmithClient = new Client({});

const tracedFn = traceable(
  async () => {
    return "Some return value";
  },
  {
    client: langsmithClient,
  }
);

const res = await tracedFn();

await langsmithClient.awaitPendingTraceBatches();

高并发下的速率限制​

默认情况下，LangSmith 客户端会将您的追踪运行执行操作进行批处理，每隔几毫秒发送一个新批次。

这在大多数情况下都能很好地工作，但如果您的被追踪函数运行时间较长且并发量非常高，您可能会遇到与总请求数相关的速率限制。

如果您看到与此相关的速率限制错误，可以尝试在客户端中这样设置 manualFlushMode: true：

import { Client } from "langsmith";

const langsmithClient = new Client({
  manualFlushMode: true,
});

const myTracedFunc = traceable(
  async () => {
    // Your logic here...
  },
  { client: langsmithClient }
);

然后手动调用 client.flush()，就像在您的无服务器函数关闭之前这样做一样：

try {
  await myTracedFunc();
} finally {
  await langsmithClient.flush();
}

请注意，这将阻止运行出现在 LangSmith UI 中，直到你调用 .flush()。