如何对数据集的拆分/筛选视图进行评估

推荐阅读

在深入研究此内容之前，阅读以下内容可能会有所帮助：

• 获取示例指南。
• 有关创建/管理数据集拆分的指南

对数据集的筛选视图进行评估

您可以使用list_examples / listExamples方法从 dataset 中获取样本子集进行评估。您可以参考上面的指南以了解有关获取示例的不同方法的更多信息。

一种常见的工作流程是获取具有特定元数据键值对的示例。

蟒

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, metadata={"desired_key": "desired_value"}),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript （类型脚本）

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    metadata: {"desired_key": "desired_value"},
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

有关更高级的筛选功能，请参阅此操作指南。

对数据集拆分进行评估

您可以使用list_examples / listExamples方法对数据集的一个或多个拆分进行评估。这splitsparam 获取要评估的 splits 列表。

蟒

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, splits=["test", "training"]),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript （类型脚本）

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    splits: ["test", "training"],
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

相关

• 在此处了解有关如何获取数据集视图的更多信息