DeepInfra

DeepInfra 让我们能够轻松运行 最新的机器学习模型。 DeepInfra 负责处理与运行、扩展和监控模型相关的所有繁重工作。用户可以专注于您的应用程序，并通过简单的 REST API 调用集成这些模型。

DeepInfra 提供了与 LangChain 集成的示例。

本页面介绍如何在 LangChain 中使用 DeepInfra 生态系统。 内容分为两部分：安装与设置，以及针对特定 DeepInfra 包装器的参考文档。

安装与设置

• 从以下链接获取您的 DeepInfra API 密钥 这里。
• 获取 DeepInfra API 密钥并将其设置为环境变量 (DEEPINFRA_API_TOKEN)

可用模型

DeepInfra 提供一系列可部署的开源大语言模型。

您可以查看支持的模型，用于 文本生成和 嵌入。

您可以查看请求和响应参数列表。

聊天模型 遵循 OpenAI API

LLM​

查看 使用示例。

from langchain_community.llms import DeepInfra

API 参考:DeepInfra

嵌入

查看 使用示例。

from langchain_community.embeddings import DeepInfraEmbeddings

API 参考:DeepInfraEmbeddings

聊天模型

查看 使用示例。

from langchain_community.chat_models import ChatDeepInfra

API 参考:ChatDeepInfra