如何在数据集的拆分/过滤视图上进行评估

推荐阅读

在深入此内容之前，阅读以下内容可能会有所帮助：

• 获取示例指南.
• 关于创建/管理数据集划分的指南

在数据集的过滤视图上进行评估​

您可以使用 list_examples / listExamples 方法从数据集中获取示例子集以供评估。您可以参考上述指南，了解更多关于获取示例的不同方式。

一个常见的工作流是获取具有特定元数据键值对的示例。

Python

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, metadata={"desired_key": "desired_value"}),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    metadata: {"desired_key": "desired_value"},
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

有关更高级的过滤功能，请参阅本操操作指南。

在数据集划分上评估​

您可以使用 list_examples / listExamples 方法对数据集的一个或多个划分进行评估。splits 参数接受您希望评估的划分的列表。

Python

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, splits=["test", "training"]),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    splits: ["test", "training"],
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

相关

• 了解更多关于如何获取数据集视图的信息 here