llamafile

llamafile 让您能够使用单个文件分发和运行大语言模型。

llamafile 使开源大语言模型对开发者和最终用户都更加易于访问。 llamafile 通过将 llama.cpp 与 Cosmopolitan Libc 结合成一个框架， 将大语言模型的所有复杂性简化为单个可执行文件（称为 "llamafile"）， 该文件可在大多数计算机上本地运行，无需安装。

安装与设置

查看 安装说明。

大型语言模型

查看 使用示例。

from langchain_community.llms.llamafile import Llamafile

API 参考:Llamafile

嵌入模型

查看 使用示例。

from langchain_community.embeddings import LlamafileEmbeddings

API 参考:Llamafile嵌入