如何使用聊天模型调用工具

先决条件

本指南假定读者熟悉以下概念：

工具调用允许聊天模型通过“调用工具”来响应给定的提示。

记住，虽然“工具调用”这个名字暗示模型正在直接执行某些操作，但实际上并非如此！模型仅生成工具的参数，至于是否实际运行该工具，则由用户决定。

工具调用是一种通用技术，可以从模型生成结构化输出，即使您不打算调用任何工具也可以使用它。一个典型的应用场景是从非结构化文本中提取信息。

Diagram of calling a tool

如果你想了解如何使用模型生成的工具调用来实际运行工具，请查看此指南。

支持的模型

工具调用并非普遍支持，但许多主流的大语言模型提供商都支持此功能。你可以找到一份支持工具调用的所有模型列表。

LangChain 实现了用于定义工具的标准接口，将这些工具传递给大型语言模型（LLM），并表示工具调用。本指南将介绍如何将工具绑定到 LLM，然后调用 LLM 以生成这些参数。

定义工具模式

为了让模型能够调用工具，我们需要传入描述工具功能及其参数的工具模式。支持工具调用功能的聊天模型实现了 .bind_tools() 方法，用于将工具模式传递给模型。工具模式可以作为 Python 函数（带类型提示和文档字符串）、Pydantic 模型、TypedDict 类或 LangChain Tool 对象传入。后续对模型的调用将连同提示一起传递这些工具模式。

Python 函数

我们的工具模式可以是 Python 函数。

# The function name, type hints, and docstring are all part of the tool
# schema that's passed to the model. Defining good, descriptive schemas
# is an extension of prompt engineering and is an important part of
# getting models to perform well.
def add(a: int, b: int) -> int:
    """Add two integers.

    Args:
        a: First integer
        b: Second integer
    """
    return a + b


def multiply(a: int, b: int) -> int:
    """Multiply two integers.

    Args:
        a: First integer
        b: Second integer
    """
    return a * b

LangChain 工具

LangChain 还实现了一个 @tool 装饰器，该装饰器允许进一步控制工具模式，例如工具名称和参数描述。有关详细信息，请参阅使用指南这里。

Pydantic 类

您可以使用 Pydantic 来定义模式，而无需附带的函数。

请注意，除非提供了默认值，否则所有字段均为 required。

from pydantic import BaseModel, Field


class add(BaseModel):
    """Add two integers."""

    a: int = Field(..., description="First integer")
    b: int = Field(..., description="Second integer")


class multiply(BaseModel):
    """Multiply two integers."""

    a: int = Field(..., description="First integer")
    b: int = Field(..., description="Second integer")

TypedDict 类

需要 langchain-core>=0.2.25

或者使用 TypedDict 和注解：

from typing_extensions import Annotated, TypedDict

class add(TypedDict):
    """Add two integers."""

    # Annotations must have the type and can optionally include a default value and description (in that order).
    a: Annotated[int, ..., "First integer"]
    b: Annotated[int, ..., "Second integer"]

class multiply(TypedDict):
    """Multiply two integers."""

    a: Annotated[int, ..., "First integer"]
    b: Annotated[int, ..., "Second integer"]

tools = [add, multiply]

要将这些模式实际绑定到聊天模型，我们将使用 .bind_tools() 方法。此方法负责将 add 和 multiply 模式转换为模型所需的格式。工具模式将在每次调用模型时传入。

选择聊天模型:

pip install -qU "langchain[openai]"

import getpass
import os

if not os.environ.get("OPENAI_API_KEY"):
  os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter API key for OpenAI: ")

from langchain.chat_models import init_chat_model

llm = init_chat_model("gpt-4o-mini", model_provider="openai")

llm_with_tools = llm.bind_tools(tools)

query = "What is 3 * 12?"

llm_with_tools.invoke(query)

AIMessage(content='', additional_kwargs={'tool_calls': [{'id': 'call_iXj4DiW1p7WLjTAQMRO0jxMs', 'function': {'arguments': '{"a":3,"b":12}', 'name': 'multiply'}, 'type': 'function'}], 'refusal': None}, response_metadata={'token_usage': {'completion_tokens': 17, 'prompt_tokens': 80, 'total_tokens': 97}, 'model_name': 'gpt-4o-mini-2024-07-18', 'system_fingerprint': 'fp_483d39d857', 'finish_reason': 'tool_calls', 'logprobs': None}, id='run-0b620986-3f62-4df7-9ba3-4595089f9ad4-0', tool_calls=[{'name': 'multiply', 'args': {'a': 3, 'b': 12}, 'id': 'call_iXj4DiW1p7WLjTAQMRO0jxMs', 'type': 'tool_call'}], usage_metadata={'input_tokens': 80, 'output_tokens': 17, 'total_tokens': 97})

我们可以看到我们的大型语言模型生成了工具的参数！你可以查看 bind_tools() 的文档，了解如何自定义大型语言模型选择工具的各种方式，以及如何强制大型语言模型调用工具的指南，而不是让它自行决定。

工具调用

如果LLM响应中包含工具调用，它们将作为.tool_calls属性中的< a t="C3">工具调用对象列表附加到相应的消息或消息块上。

请注意，聊天模型可以同时调用多个工具。

一个 ToolCall 是一个包含工具名称、参数值字典（可选地还包括标识符）的类型化字典。如果没有工具调用，此属性默认为空列表。

query = "What is 3 * 12? Also, what is 11 + 49?"

llm_with_tools.invoke(query).tool_calls

[{'name': 'multiply',
  'args': {'a': 3, 'b': 12},
  'id': 'call_1fyhJAbJHuKQe6n0PacubGsL',
  'type': 'tool_call'},
 {'name': 'add',
  'args': {'a': 11, 'b': 49},
  'id': 'call_fc2jVkKzwuPWyU7kS9qn1hyG',
  'type': 'tool_call'}]

.tool_calls 属性应包含有效的工具调用。请注意，有时模型提供商可能会输出格式错误的工具调用（例如，参数不是有效的 JSON）。当解析失败时，InvalidToolCall 实例会被填充到 .invalid_tool_calls 属性中。一个 InvalidToolCall 可以包含名称、字符串参数、标识符和错误消息。

解析

如果需要，输出解析器可以进一步处理输出。例如，我们可以使用 PydanticToolsParser 将已填充在 .tool_calls 的值转换为 Pydantic 对象：

from langchain_core.output_parsers import PydanticToolsParser
from pydantic import BaseModel, Field


class add(BaseModel):
    """Add two integers."""

    a: int = Field(..., description="First integer")
    b: int = Field(..., description="Second integer")


class multiply(BaseModel):
    """Multiply two integers."""

    a: int = Field(..., description="First integer")
    b: int = Field(..., description="Second integer")


chain = llm_with_tools | PydanticToolsParser(tools=[add, multiply])
chain.invoke(query)

API 参考：PydanticToolsParser

[multiply(a=3, b=12), add(a=11, b=49)]

下一步

现在你已经学会了如何将工具模式绑定到聊天模型，并让模型调用该工具。

接下来，查看这个指南，了解如何通过调用函数并把结果返回给模型来实际使用该工具：

将工具结果返回给模型

你也可以查看一些更具体的工具调用用法：

从模型获取结构化输出
少样本提示使用工具
流式工具调用
将运行时值传递给工具

定义工具模式​

Python 函数​

LangChain 工具​

Pydantic 类​

TypedDict 类​

工具调用​

解析​

下一步​