Baseten

Baseten 是一个提供您部署和运行高性能、可扩展且成本效益高的机器学习模型所需全部基础设施的提供商。

作为一个模型推理平台，Baseten是LangChain生态系统中的一个Provider。 当前的Baseten集成目前实现了单个Component（LLMs），但未来计划支持更多！

Baseten 允许您运行开源模型（如 Llama 2 或 Mistral），并在专用 GPU 上运行专有模型或微调模型。如果您习惯于使用 OpenAI 这样的服务，使用 Baseten 会有一些不同之处：

• 不再按令牌付费，而是按使用的 GPU 分钟数付费。
• Baseten 上的每个模型都使用 Truss，即我们开源的模型打包框架，以实现最大的可定制性。
• 虽然我们有一些 兼容 OpenAI ChatCompletions 的模型，但您也可以通过 Truss 自定义自己的输入/输出规范。

了解更多 关于模型 ID 和部署。

了解更多关于 Baseten 的信息，请查阅 Baseten 文档。

安装与设置

要使用 Baseten 模型与 LangChain，您需要两样东西：

• A Baseten 账户
• 一个 API 密钥

将您的 API 密钥导出为名为 BASETEN_API_KEY 的环境变量。

export BASETEN_API_KEY="paste_your_api_key_here"

大型语言模型

查看 使用示例。

from langchain_community.llms import Baseten

API 参考:Baseten