LocalAI

LocalAI 是一个免费的、开源的 OpenAI 替代方案。 LocalAI 可作为兼容 OpenAI API 规范的即用型 REST API，用于本地推理。它允许您在消费级硬件上或在本地/私有环境中运行大型语言模型（LLM）、生成图像和音频等，并支持多种模型家族和架构。

注意

为确保正确兼容，请确保您正在使用 openai SDK 的 0.x 版本。

信息

langchain-localai 是 LocalAI 的一个第三方集成包。它提供了一种简单的方式在 Langchain 中使用 LocalAI 服务。 源代码可在 Github 上获取

安装与设置

我们必须安装几个 Python 包：

pip install tenacity openai

嵌入模型

查看 使用示例。

from langchain_localai import LocalAIEmbeddings