GPT4All
本页介绍如何使用GPT4Allwrapper 中的 LangChain 中。本教程分为两部分：安装和设置，然后通过示例进行使用。
安装和设置
- 使用
pip install gpt4all - 下载 GPT4All 模型并将其放置在您想要的目录中
在此示例中，我们使用mistral-7b-openorca.Q4_0.gguf:
mkdir models
wget https://gpt4all.io/models/gguf/mistral-7b-openorca.Q4_0.gguf -O models/mistral-7b-openorca.Q4_0.gguf
用法
GPT4全部
要使用 GPT4All 包装器，您需要提供预训练模型文件的路径和模型的配置。
from langchain_community.llms import GPT4All
# Instantiate the model. Callbacks support token-wise streaming
model = GPT4All(model="./models/mistral-7b-openorca.Q4_0.gguf", n_threads=8)
# Generate text
response = model.invoke("Once upon a time, ")
API 参考：GPT4All
您还可以自定义生成参数，例如n_predict,temp,top_p,top_k等。
要流式传输模型的预测，请添加 CallbackManager。
from langchain_community.llms import GPT4All
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
# There are many CallbackHandlers supported, such as
# from langchain.callbacks.streamlit import StreamlitCallbackHandler
callbacks = [StreamingStdOutCallbackHandler()]
model = GPT4All(model="./models/mistral-7b-openorca.Q4_0.gguf", n_threads=8)
# Generate text. Tokens are streamed through the callback manager.
model.invoke("Once upon a time, ", callbacks=callbacks)
模型文件
您可以从 GPT4All 客户端下载模型文件。您可以从 GPT4All 网站下载客户端。
有关此教程的更详细演练，请参阅此笔记本