Llama.cpp

llama.cpp Python 库是一个简单的 Python 绑定，用于@ggerganov llama.cpp。

此软件包提供：

• 通过 ctypes 接口对 C API 进行低级访问。
• 用于文本补全的高级 Python API
  • OpenAI类 API
  • LangChain兼容性
  • LlamaIndex兼容性
• OpenAI 兼容的 Web 服务器
  • 本地 Copilot 更换
  • 函数调用支持
  • Vision API 支持
  • 多个模型

安装和设置

• 安装 Python 软件包

  pip install llama-cpp-python
• 下载其中一个受支持的模型，并按照说明将其转换为 llama.cpp 格式

聊天模型

请参阅使用示例。

from langchain_community.chat_models import ChatLlamaCpp

API 参考：ChatLlamaCpp

LLM

请参阅使用示例。

from langchain_community.llms import LlamaCpp

API 参考：LlamaCpp

嵌入模型

请参阅使用示例。

from langchain_community.embeddings import LlamaCppEmbeddings

API 参考：LlamaCppEmbeddings