上传带有追踪信息的文件

推荐阅读

在深入学习此内容之前，建议先阅读以下指南：

• 使用 traceable 装饰器或包装器通过 LangSmith 进行追踪

最低SDK版本

以下功能在以下 SDK 版本中可用：

• Python SDK：>=0.1.141
• JS/TS SDK：>=0.2.5

LangSmith 支持在跟踪信息中上传二进制文件（例如图像、音频、视频、PDF 和 CSV 文件）。这在使用多模态输入或输出的 LLM 管道时特别有用。

在 Python 和 TypeScript SDK 中，可以通过指定每个文件的 MIME 类型和二进制内容，将附件添加到你的追踪中。 本指南介绍了如何在 Python 中使用 Attachment 类型以及在 TypeScript 中使用 Uint8Array / ArrayBuffer 来定义和追踪附件。

Python

在 Python SDK 中，您可以使用 Attachment 类型将文件添加到您的追踪中。 每个 Attachment 需要：

• mime_type (str)：文件的 MIME 类型（例如，"image/png"）。
• data （字节 | 路径）：文件的二进制内容，或文件路径。

您也可以方便地使用形式为 (mime_type, data) 的元组来定义附件。

只需用 @traceable 装饰一个函数，并将您的 Attachment 实例作为参数传入。 请注意，若要使用文件路径而非原始字节，您需要在 traceable 装饰器中将 dangerously_allow_filesystem 标志设置为 True。

from langsmith import traceable
from langsmith.schemas import Attachment
from pathlib import Path
import os


# Must set dangerously_allow_filesystem to True if you want to use file paths
@traceable(dangerously_allow_filesystem=True)
def trace_with_attachments(
  val: int,
  text: str,
  image: Attachment,
  audio: Attachment,
  video: Attachment,
  pdf: Attachment,
  csv: Attachment,
):
  return f"Processed: {val}, {text}, {len(image.data)}, {len(audio.data)}, {len(video.data)}, {len(pdf.data), {len(csv.data)}}"


# Helper function to load files as bytes
def load_file(file_path: str) -> bytes:
  with open(file_path, "rb") as f:
      return f.read()


# Load files and create attachments
image_data = load_file("my_image.png")
audio_data = load_file("my_mp3.mp3")
video_data = load_file("my_video.mp4")
pdf_data = load_file("my_document.pdf")
image_attachment = Attachment(mime_type="image/png", data=image_data)
audio_attachment = Attachment(mime_type="audio/mpeg", data=audio_data)
video_attachment = Attachment(mime_type="video/mp4", data=video_data)
pdf_attachment = ("application/pdf", pdf_data) # Can just define as tuple of (mime_type, data)
csv_attachment = Attachment(mime_type="text/csv", data=Path(os.getcwd()) / "my_csv.csv")

# Define other parameters

val = 42
text = "Hello, world!"

# Call the function with traced attachments

result = trace_with_attachments(
val=val,
text=text,
image=image_attachment,
audio=audio_attachment,
video=video_attachment,
pdf=pdf_attachment,
csv=csv_attachment,
)

TypeScript

在TypeScript SDK中，您可以通过使用Uint8Array或ArrayBuffer作为数据类型来向跟踪中添加附件。 每个附件的MIME类型都在extractAttachments中指定：

• Uint8Array：适用于直接处理二进制数据。
• ArrayBuffer：表示固定长度的二进制数据，可根据需要转换为 Uint8Array。

将您的函数用 traceable 包裹，并在 extractAttachments 选项中包含您的附件。

在TypeScript SDK中，extractAttachments函数是traceable配置中的一个可选参数。当调用被traceable包装的函数时，它会从输入中提取二进制数据（例如图像、音频文件），并将其MIME类型与其他跟踪数据一起记录。

请注意，您不能在TypeScript SDK中直接传入文件路径，因为并非所有运行时环境都支持访问本地文件。

type AttachmentData = Uint8Array | ArrayBuffer;
type Attachments = Record<string, [string, AttachmentData]>;

extractAttachments?: (
...args: Parameters<Func>
) => [Attachments | undefined, KVMap];

import { traceable } from "langsmith/traceable";

const traceableWithAttachments = traceable(
(
val: number,
text: string,
attachment: Uint8Array,
attachment2: ArrayBuffer,
attachment3: Uint8Array,
attachment4: ArrayBuffer,
attachment5: Uint8Array,
) =>
`Processed: ${val}, ${text}, ${attachment.length}, ${attachment2.byteLength}, ${attachment3.length}, ${attachment4.byteLength}, ${attachment5.byteLength}`,
{
name: "traceWithAttachments",
extractAttachments: (
val: number,
text: string,
attachment: Uint8Array,
attachment2: ArrayBuffer,
attachment3: Uint8Array,
attachment4: ArrayBuffer,
attachment5: Uint8Array,
) => [
{
"image inputs": ["image/png", attachment],
"mp3 inputs": ["audio/mpeg", new Uint8Array(attachment2)],
"video inputs": ["video/mp4", attachment3],
"pdf inputs": ["application/pdf", new Uint8Array(attachment4)],
"csv inputs": ["text/csv", new Uint8Array(attachment5)]
},
{ val, text },
],
}
);

const fs = Deno // or Node.js fs module

const image = await fs.readFile("my_image.png"); // Uint8Array
const mp3Buffer = await fs.readFile("my_mp3.mp3");
const mp3ArrayBuffer = mp3Buffer.buffer; // Convert to ArrayBuffer

const video = await fs.readFile("my_video.mp4"); // Uint8Array
const pdfBuffer = await fs.readFile("my_document.pdf");
const pdfArrayBuffer = pdfBuffer.buffer; // Convert to ArrayBuffer
const csv = await fs.readFile("test-vals.csv"); // Uint8Array

// Define example parameters
const val = 42;
const text = "Hello, world!";

// Call traceableWithAttachments with the files
const result = await traceableWithAttachments(val, text, image, mp3ArrayBuffer, video, pdfArrayBuffer, csv);

以下是上述内容在 LangSmith 用户界面中的显示效果。您可以展开每个附件以查看其内容。