llamafile

llamafile 允许您分发和运行 LLM 替换为单个文件。

llamafile使开发人员和最终用户都更容易访问开放式 LLM。llamafile通过将 llama.cpp 与 Cosmopolitan Libc 合并为一个崩溃的框架来做到这一点 LLM 的所有复杂性都归结为单个文件可执行文件（称为“llamafile”） 在大多数计算机上本地运行，无需安装。

安装和设置

请参阅安装说明。

LLM

请参阅使用示例。

from langchain_community.llms.llamafile import Llamafile

API 参考：Llamafile

嵌入模型

请参阅使用示例。

from langchain_community.embeddings import LlamafileEmbeddings

API 参考：LlamafileEmbeddings