Skip to main content
Open In ColabOpen on GitHub

Llama.cpp

llama.cpp python 库是 @ggerganov llama.cpp 的简单 Python 绑定。

该软件包提供：

  • 通过 ctypes 接口低级访问 C API。
  • 用于文本补全的高级 Python API
    • OpenAI 风格的 API
    • LangChain 兼容性
    • LlamaIndex 兼容性
  • OpenAI 兼容的 Web 服务器
    • 本地 Copilot 替代方案
    • 支持函数调用
    • 支持视觉 API
    • 支持多模型
%pip install --upgrade --quiet  llama-cpp-python
from langchain_community.embeddings import LlamaCppEmbeddings
llama = LlamaCppEmbeddings(model_path="/path/to/model/ggml-model-q4_0.bin")
text = "This is a test document."
query_result = llama.embed_query(text)
doc_result = llama.embed_documents([text])