如何通过迭代优化来总结文本

LLM 可以从文本（包括大量文本）中汇总和提取所需的信息。在许多情况下，特别是当文本量与模型的上下文窗口的大小相比很大时，将摘要任务分解为更小的组件可能会有所帮助（或必要）。

迭代优化代表了一种总结长文本的策略。策略如下：

将文本拆分为较小的文档;
总结第一个文档;
根据下一个文档优化或更新结果;
重复文档序列，直到完成。

请注意，此策略不是并行的。当对子文档的理解取决于先前的上下文时，它特别有效——例如，当总结具有固有序列的小说或文本正文时。

LangGraph 构建在langchain-core非常适合此问题：

LangGraph 允许对单个步骤（例如连续摘要）进行流式处理，从而更好地控制执行;
LangGraph 的检查点支持错误恢复，通过人机协同工作流进行扩展，并更轻松地整合到对话应用程序中。
由于它由模块化组件组装而成，因此也很容易扩展或修改（例如，合并工具调用或其他行为）。

下面，我们将演示如何通过迭代优化来总结文本。

加载聊天模型

让我们首先加载一个聊天模型：

选择聊天模式：

pip install -qU "langchain[openai]"

import getpass
import os

if not os.environ.get("OPENAI_API_KEY"):
  os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter API key for OpenAI: ")

from langchain.chat_models import init_chat_model

llm = init_chat_model("gpt-4o-mini", model_provider="openai")

加载文档

接下来，我们需要一些文档进行总结。下面，我们生成了一些用于说明目的的玩具文档。有关其他数据源，请参阅 Document Loader 操作指南和集成页面。摘要教程还包括一个总结博客文章的示例。

from langchain_core.documents import Document

documents = [
    Document(page_content="Apples are red", metadata={"title": "apple_book"}),
    Document(page_content="Blueberries are blue", metadata={"title": "blueberry_book"}),
    Document(page_content="Bananas are yelow", metadata={"title": "banana_book"}),
]

API 参考：文档

创建图表

下面我们展示了此过程的 LangGraph 实现：

我们为初始摘要生成一个简单的链，该链提取出第一个文档，将其格式化为提示，并使用我们的 LLM 运行推理。
我们生成第二个refine_summary_chain，它对每个连续的文档进行作，从而优化初始摘要。

我们需要安装langgraph:

pip install -qU langgraph

import operator
from typing import List, Literal, TypedDict

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnableConfig
from langgraph.constants import Send
from langgraph.graph import END, START, StateGraph

# Initial summary
summarize_prompt = ChatPromptTemplate(
    [
        ("human", "Write a concise summary of the following: {context}"),
    ]
)
initial_summary_chain = summarize_prompt | llm | StrOutputParser()

# Refining the summary with new docs
refine_template = """
Produce a final summary.

Existing summary up to this point:
{existing_answer}

New context:
------------
{context}
------------

Given the new context, refine the original summary.
"""
refine_prompt = ChatPromptTemplate([("human", refine_template)])

refine_summary_chain = refine_prompt | llm | StrOutputParser()


# We will define the state of the graph to hold the document
# contents and summary. We also include an index to keep track
# of our position in the sequence of documents.
class State(TypedDict):
    contents: List[str]
    index: int
    summary: str


# We define functions for each node, including a node that generates
# the initial summary:
async def generate_initial_summary(state: State, config: RunnableConfig):
    summary = await initial_summary_chain.ainvoke(
        state["contents"][0],
        config,
    )
    return {"summary": summary, "index": 1}


# And a node that refines the summary based on the next document
async def refine_summary(state: State, config: RunnableConfig):
    content = state["contents"][state["index"]]
    summary = await refine_summary_chain.ainvoke(
        {"existing_answer": state["summary"], "context": content},
        config,
    )

    return {"summary": summary, "index": state["index"] + 1}


# Here we implement logic to either exit the application or refine
# the summary.
def should_refine(state: State) -> Literal["refine_summary", END]:
    if state["index"] >= len(state["contents"]):
        return END
    else:
        return "refine_summary"


graph = StateGraph(State)
graph.add_node("generate_initial_summary", generate_initial_summary)
graph.add_node("refine_summary", refine_summary)

graph.add_edge(START, "generate_initial_summary")
graph.add_conditional_edges("generate_initial_summary", should_refine)
graph.add_conditional_edges("refine_summary", should_refine)
app = graph.compile()

API 参考：StrOutputParser | ChatPromptTemplate 模板 | RunnableConfig | 发送 | StateGraph

LangGraph 允许绘制图形结构以帮助可视化其功能：

from IPython.display import Image

Image(app.get_graph().draw_mermaid_png())

调用图形

我们可以按如下方式逐步执行，在优化后打印出摘要：

async for step in app.astream(
    {"contents": [doc.page_content for doc in documents]},
    stream_mode="values",
):
    if summary := step.get("summary"):
        print(summary)

Apples are characterized by their red color.
Apples are characterized by their red color, while blueberries are known for their blue hue.
Apples are characterized by their red color, blueberries are known for their blue hue, and bananas are recognized for their yellow color.

决赛step包含从整个文档集合成的摘要。

后续步骤

查看摘要操作指南，了解其他摘要策略，包括为大量文本设计的策略。

有关摘要的更多详细信息，请参阅本教程。

有关使用 LangGraph 进行构建的详细信息，另请参阅 LangGraph 文档。