Skip to main content
Open on GitHub

Ollama

Ollama 允许您运行开源的大语言模型， 例如 Llama3.1，本地运行。

Ollama 将模型权重、配置和数据打包成一个单独的包，定义由 Modelfile 指定。 它优化了设置和配置细节，包括 GPU 使用情况。 要查看支持的所有模型及其变体，请参阅 Ollama 模型库。

有关如何将 Ollama 与 LangChain 一起使用的更多详细信息，请参阅本指南。

安装与设置

Ollama 安装​

跟随这些说明 设置并运行一个本地的Ollama实例。

如果未启用，可以运行以下命令使 Ollama 作为后台服务自动启动:

# export OLLAMA_HOST=127.0.0.1 # environment variable to set ollama host
# export OLLAMA_PORT=11434 # environment variable to set the ollama port
ollama serve

启动 ollama 后，运行 ollama pull <model_checkpoint> 以从 Ollama 模型库 下载一个模型。

ollama pull llama3.1

我们现在可以安装 langchain-ollama 合作伙伴包并运行一个模型。

Ollama LangChain 合作伙伴包安装​

使用以下命令安装集成包:

pip install langchain-ollama

LLM​

from langchain_ollama.llms import OllamaLLM
API 参考:OllamaLLM

查看笔记本示例 此处。

聊天模型​

Chat Ollama​

from langchain_ollama.chat_models import ChatOllama
API 参考:ChatOllama

查看笔记本示例 此处。

Ollama 工具调用​

Ollama 工具调用 使用与 OpenAI 兼容的 Web 服务器规范，可结合默认的 BaseChatModel.bind_tools() 方法使用，具体说明见 此处。 请确保选择支持 工具调用 的 ollama 模型。

嵌入模型​

from langchain_community.embeddings import OllamaEmbeddings
API 参考:OllamaEmbeddings

查看笔记本示例 此处。