Skip to main content
Open on GitHub

OpenLLM

OpenLLM 让开发者能够使用单个命令运行任何开源的大规模语言模型（LLMs）作为与OpenAI 兼容的 API 端点。

  • 🔬 为快速和生产使用而构建
  • 🚂 支持 llama3、qwen2、gemma 等，并且包含许多 量化版本 完整列表
  • ⛓️ 开放API，兼容OpenAI
  • 💬 内置的类似ChatGPT的界面
  • 🔥 使用最先进的推理后端加速LLM解码
  • ☁️ 准备好用于企业级云部署（Kubernetes、Docker 和 BentoCloud）

安装与设置

通过 PyPI 安装 OpenLLM 包：

pip install openllm

LLM​

OpenLLM 支持多种开源的大语言模型以及用户自己微调后的模型。使用 openllm model 命令可以查看所有可用于 OpenLLM 的预优化模型。

包装器​

这是带有支持与运行中的OpenLLM服务器进行交互的OpenLLM包装器：

from langchain_community.llms import OpenLLM
API 参考:OpenLLM

Wrapper for OpenLLM服务器​

这个包装器支持与OpenLLM的OpenAI兼容端点进行交互。

运行一个模型，请执行以下操作:

openllm hello

Wrapper 使用方法:

from langchain_community.llms import OpenLLM

llm = OpenLLM(base_url="http://localhost:3000/v1", api_key="na")

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")
API 参考:OpenLLM

用法​

要详细了解OpenLLM封装，请参阅 示例笔记本