文本生成

GitHub：oobabooga/text-generation-webui用于运行 LLaMA、llama.cpp、GPT-J、Pythia、OPT 和 GALACTICA 等大型语言模型的 gradio Web UI。

此示例介绍了如何使用 LangChain 通过text-generation-webuiAPI 集成。

请确保您已text-generation-webui配置并安装了 LLM。建议通过适合您的作系统的一键式安装程序进行安装。

一次text-generation-webui已安装并通过 Web 界面确认工作正常，请启用api选项 Web Model configuration （Web 模型配置）选项卡，或通过添加运行时 arg--api添加到您的 start 命令中。

设置 model_url 并运行示例

model_url = "http://localhost:5000"

from langchain.chains import LLMChain
from langchain.globals import set_debug
from langchain_community.llms import TextGen
from langchain_core.prompts import PromptTemplate

set_debug(True)

template = """Question: {question}

Answer: Let's think step by step."""


prompt = PromptTemplate.from_template(template)
llm = TextGen(model_url=model_url)
llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"

llm_chain.run(question)

API 参考：LLMChain | set_debug | 文本生成 | 提示模板

流媒体版本

您应该安装 websocket-client 才能使用此功能。pip install websocket-client

model_url = "ws://localhost:5005"

from langchain.chains import LLMChain
from langchain.globals import set_debug
from langchain_community.llms import TextGen
from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_core.prompts import PromptTemplate

set_debug(True)

template = """Question: {question}

Answer: Let's think step by step."""


prompt = PromptTemplate.from_template(template)
llm = TextGen(
    model_url=model_url, streaming=True, callbacks=[StreamingStdOutCallbackHandler()]
)
llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"

llm_chain.run(question)

API 参考：LLMChain | set_debug | 文本生成 | 流式处理 StdOut回调处理程序 | 提示模板

llm = TextGen(model_url=model_url, streaming=True)
for chunk in llm.stream("Ask 'Hi, how are you?' like a pirate:'", stop=["'", "\n"]):
    print(chunk, end="", flush=True)

LLM 概念指南
LLM 操作指南

设置 model_url 并运行示例

流媒体版本

相关