OpenLLM

OpenLLM 允许开发人员使用单个命令将任何开源 LLM 作为与 OpenAI 兼容的 API 终端节点运行。

• 🔬 为快速和生产用途而构建
• 🚂 支持 llama3、qwen2、gemma 等，以及许多量化版本完整列表
• ⛓️ OpenAI 兼容 API
• 💬 内置类似 ChatGPT 的 UI
• 🔥 使用最先进的推理后端加速 LLM 解码
• 🌥️ 为企业级云部署做好准备（Kubernetes、Docker 和 BentoCloud）

安装和设置

通过 PyPI 安装 OpenLLM 包：

pip install openllm

LLM

OpenLLM 支持各种开源 LLM 以及为用户提供自己的 LLM 微调的 LLM。使用openllm model命令查看所有可用的模型 针对 OpenLLM 进行了预先优化。

包装

有一个 OpenLLM Wrapper，它支持使用 OpenLLM 与正在运行的服务器交互：

from langchain_community.llms import OpenLLM

API 参考：OpenLLM

OpenLLM 服务器的包装器

此包装器支持与 OpenLLM 的 OpenAI 兼容终端节点交互。

要运行模型，请执行以下作：

openllm hello

包装器用法：

from langchain_community.llms import OpenLLM

llm = OpenLLM(base_url="http://localhost:3000/v1", api_key="na")

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")

API 参考：OpenLLM

用法

有关 OpenLLM 包装器的更详细演练，请参阅示例笔记本