Ollama

Ollama 允许您运行开源的大型语言模型， 例如 Llama3.1，本地。

Ollama将模型权重、配置和数据捆绑到一个由 Modelfile 定义的包中。 它优化了设置和配置细节，包括 GPU 使用情况。 有关支持的模型和模型变体的完整列表，请参阅 Ollama 模型库。

有关更多详细信息，请参阅本指南 关于如何使用Ollama与 LangChain 一起使用。

安装和设置

Ollama 安装

按照这些说明设置并运行本地 Ollama 实例。

Ollama 将自动作为后台服务启动，如果禁用此功能，请运行：

# export OLLAMA_HOST=127.0.0.1 # environment variable to set ollama host
# export OLLAMA_PORT=11434 # environment variable to set the ollama port
ollama serve

启动 ollama 后，运行ollama pull <model_checkpoint>下载模型 从 Ollama 模型库中。

ollama pull llama3.1

现在，我们已准备好安装langchain-ollama合作伙伴打包并运行模型。

Ollama LangChain 合作伙伴包安装

使用以下命令安装集成包：

pip install langchain-ollama

LLM

from langchain_ollama.llms import OllamaLLM

API 参考：OllamaLLM

请参阅此处的笔记本示例。

聊天模型

聊天 Ollama

from langchain_ollama.chat_models import ChatOllama

API 参考：ChatOllama

请参阅此处的笔记本示例。

Ollama 工具调用

Ollama 工具调用使用 OpenAI 兼容的 Web 服务器规格，并且可以与 默认的BaseChatModel.bind_tools()方法 如此处所述。 确保选择支持工具调用的 ollama 模型。

嵌入模型

from langchain_community.embeddings import OllamaEmbeddings

API 参考：OllamaEmbeddings

请参阅此处的笔记本示例。