Flyte

Flyte 是一个开源编排器，有助于构建生产级数据和 ML 管道。 它专为可扩展性和可重复性而构建，利用 Kubernetes 作为其底层平台。

此笔记本的目的是演示FlyteCallback添加到您的 Flyte 任务中，使您能够有效地监控和跟踪您的 LangChain 实验。

安装和设置

• 通过运行命令安装 Flytekit 库pip install flytekit.
• 通过运行命令安装 Flytekit-Envd 插件pip install flytekitplugins-envd.
• 通过运行命令安装 LangChainpip install langchain.
• 在您的系统上安装 Docker。

Flyte 任务

Flyte 任务是 Flyte 的基础构建块。 要执行 LangChain 实验，您需要编写 Flyte 任务来定义所涉及的具体步骤和作。

注意：入门指南提供了有关在本地安装 Flyte 和运行初始 Flyte 管道的详细分步说明。

首先，导入必要的依赖项以支持您的 LangChain 实验。

import os

from flytekit import ImageSpec, task
from langchain.agents import AgentType, initialize_agent, load_tools
from langchain.callbacks import FlyteCallbackHandler
from langchain.chains import LLMChain
from langchain_openai import ChatOpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.messages import HumanMessage

API 参考：AgentType | initialize_agent | load_tools | FlyteCallbackHandler | LLMChain 法 | 聊天OpenAI | 提示模板 | HumanMessage （人工消息）

设置必要的环境变量以使用 OpenAI API 和 Serp API：

# Set OpenAI API key
os.environ["OPENAI_API_KEY"] = "<your_openai_api_key>"

# Set Serp API key
os.environ["SERPAPI_API_KEY"] = "<your_serp_api_key>"

取代<your_openai_api_key>和<your_serp_api_key>替换为您从 OpenAI 和 Serp API 获得的相应 API 密钥。

为了保证管道的可重复性，Flyte 任务已容器化。 每个 Flyte 任务都必须与一个图像关联，该图像可以在整个 Flyte 工作流程中共享，也可以为每个任务单独提供。

要简化为每个 Flyte 任务提供所需依赖项的过程，您可以初始化ImageSpec对象。 此方法会自动触发 Docker 构建，从而减少用户手动创建 Docker 镜像的需要。

custom_image = ImageSpec(
    name="langchain-flyte",
    packages=[
        "langchain",
        "openai",
        "spacy",
        "https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.5.0/en_core_web_sm-3.5.0.tar.gz",
        "textstat",
        "google-search-results",
    ],
    registry="<your-registry>",
)

您可以灵活地将 Docker 镜像推送到您偏好的注册表。Docker Hub 或 GitHub Container Registry （GHCR） 是一个方便的入门选项。

选择注册表后，您可以继续创建将 LangChain 指标记录到 Flyte Deck 的 Flyte 任务。

以下示例演示了与 OpenAI LLM、链和代理相关的工具任务：

LLM

@task(disable_deck=False, container_image=custom_image)
def langchain_llm() -> str:
    llm = ChatOpenAI(
        model_name="gpt-3.5-turbo",
        temperature=0.2,
        callbacks=[FlyteCallbackHandler()],
    )
    return llm.invoke([HumanMessage(content="Tell me a joke")]).content

Chains

@task(disable_deck=False, container_image=custom_image)
def langchain_chain() -> list[dict[str, str]]:
    template = """You are a playwright. Given the title of play, it is your job to write a synopsis for that title.
Title: {title}
Playwright: This is a synopsis for the above play:"""
    llm = ChatOpenAI(
        model_name="gpt-3.5-turbo",
        temperature=0,
        callbacks=[FlyteCallbackHandler()],
    )
    prompt_template = PromptTemplate(input_variables=["title"], template=template)
    synopsis_chain = LLMChain(
        llm=llm, prompt=prompt_template, callbacks=[FlyteCallbackHandler()]
    )
    test_prompts = [
        {
            "title": "documentary about good video games that push the boundary of game design"
        },
    ]
    return synopsis_chain.apply(test_prompts)

代理

@task(disable_deck=False, container_image=custom_image)
def langchain_agent() -> str:
    llm = OpenAI(
        model_name="gpt-3.5-turbo",
        temperature=0,
        callbacks=[FlyteCallbackHandler()],
    )
    tools = load_tools(
        ["serpapi", "llm-math"], llm=llm, callbacks=[FlyteCallbackHandler()]
    )
    agent = initialize_agent(
        tools,
        llm,
        agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
        callbacks=[FlyteCallbackHandler()],
        verbose=True,
    )
    return agent.run(
        "Who is Leonardo DiCaprio's girlfriend? Could you calculate her current age and raise it to the power of 0.43?"
    )

这些任务是在 Flyte 中运行 LangChain 实验的起点。

在 Kubernetes 上执行 Flyte 任务

要在配置的 Flyte 后端执行 Flyte 任务，请使用以下命令：

pyflyte run --image <your-image> langchain_flyte.py langchain_llm

此命令将启动langchain_llmtask 的 intent 任务。您可以以类似的方式触发其余两个任务。

这些指标将显示在 Flyte UI 上，如下所示：