Baseten
Baseten 是您部署和服务所需的所有基础设施的提供商 ML 模型性能出色、可扩展且经济高效。
作为模型推理平台，
Baseten是一个Provider在 LangChain 生态系统中。 这Baseten集成当前实现了单个Component、LLM 等，但更多正在计划中！
Baseten允许您运行 Llama 2 或 Mistral 等开源模型，并运行专有或 专用 GPU 上的微调模型。如果您习惯了像 OpenAI 这样的提供商，那么使用 Baseten 有一些不同：
- 您无需按令牌付费，而是按使用的 GPU 分钟付费。
- Baseten 上的每个模型都使用我们的开源模型打包框架 Truss，以实现最大的可定制性。
- 虽然我们有一些与 OpenAI ChatCompletions 兼容的模型，但您可以使用
Truss.
了解有关模型 ID 和部署的更多信息。
在 Baseten 文档中了解有关 Baseten 的更多信息。
安装和设置
要将 Baseten 模型与 LangChain 一起使用，你需要做两件事：
将 API 密钥导出为名为BASETEN_API_KEY.
export BASETEN_API_KEY="paste_your_api_key_here"
LLM
请参阅使用示例。
from langchain_community.llms import Baseten
API 参考：Baseten