Skip to main content
Open on GitHub

Llama.cpp

llama.cpp python 库是 @ggerganov llama.cpp 的简单 Python 绑定。

该软件包提供：

  • 通过 ctypes 接口低级访问 C API。
  • 用于文本补全的高级 Python API
    • OpenAI 风格的 API
    • LangChain 兼容性
    • LlamaIndex 兼容性
  • OpenAI 兼容的 Web 服务器
    • 本地 Copilot 替代方案
    • 支持函数调用
    • 支持视觉 API
    • 支持多模型

安装与设置

  • 安装 Python 包 
    pip install llama-cpp-python
  • 下载一个 支持的模型，并按照 说明 将其转换为 llama.cpp 格式

聊天模型​

查看 使用示例。

from langchain_community.chat_models import ChatLlamaCpp
API 参考:ChatLlamaCpp

大型语言模型​

查看 使用示例。

from langchain_community.llms import LlamaCpp
API 参考:LlamaCpp

嵌入模型​

查看 使用示例。

from langchain_community.embeddings import LlamaCppEmbeddings