Skip to main content
Open In Colab在 GitHub 上打开

如何在单个 LLM 调用中汇总文本

LLM 可以从文本（包括大量文本）中汇总和提取所需的信息。在许多情况下，特别是对于具有较大上下文窗口的模型，这可以通过单个 LLM 调用充分实现。

LangChain 实现了一个简单的预构建链，该链为提示“填充”了所需的上下文，用于摘要和其他目的。在本指南中，我们将演示如何使用链。

加载聊天模型

让我们首先加载一个聊天模型：

pip install -qU "langchain[openai]"
import getpass
import os

if not os.environ.get("OPENAI_API_KEY"):
  os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter API key for OpenAI: ")

from langchain.chat_models import init_chat_model

llm = init_chat_model("gpt-4o-mini", model_provider="openai")

加载文档

接下来，我们需要一些文档进行总结。下面，我们生成了一些用于说明目的的玩具文档。有关其他数据源，请参阅 Document Loader 操作指南和集成页面。摘要教程还包括一个总结博客文章的示例。

from langchain_core.documents import Document

documents = [
    Document(page_content="Apples are red", metadata={"title": "apple_book"}),
    Document(page_content="Blueberries are blue", metadata={"title": "blueberry_book"}),
    Document(page_content="Bananas are yelow", metadata={"title": "banana_book"}),
]
API 参考：文档

负载链

下面，我们定义了一个简单的提示，并使用我们的聊天模型和文档实例化了链：

from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_template("Summarize this content: {context}")
chain = create_stuff_documents_chain(llm, prompt)

调用链

因为 chain 是一个 Runnable，所以它实现了通常的调用方法：

result = chain.invoke({"context": documents})
result
'The content describes the colors of three fruits: apples are red, blueberries are blue, and bananas are yellow.'

流

请注意，该链还支持单个输出 Token 的流式处理：

for chunk in chain.stream({"context": documents}):
    print(chunk, end="|")
|The| content| describes| the| colors| of| three| fruits|:| apples| are| red|,| blueberries| are| blue|,| and| bananas| are| yellow|.||

后续步骤

有关其他摘要策略，包括为大量文本设计的策略，请参阅摘要操作指南。

有关摘要的更多详细信息，另请参阅本教程。