Anyscale

Anyscale 是一个通过生产就绪型 API 运行、微调和扩展 LLM 的平台。Anyscale 终端节点以经济高效的方式为许多开源模型提供服务。

Anyscale还提供了如何设置LangChain跟Anyscale适用于高级聊天代理。

安装和设置

• 获取 Anyscale 服务 URL、路由和 API 密钥，并将它们设置为环境变量 （ANYSCALE_SERVICE_URL,ANYSCALE_SERVICE_ROUTE,ANYSCALE_SERVICE_TOKEN).
• 有关更多详细信息，请参阅 Anyscale 文档。

我们必须安装openai包：

pip install openai

LLM

请参阅使用示例。

from langchain_community.llms.anyscale import Anyscale

API 参考：Anyscale

聊天模型

请参阅使用示例。

from langchain_community.chat_models.anyscale import ChatAnyscale

API 参考：ChatAnyscale

嵌入

请参阅使用示例。

from langchain_community.embeddings import AnyscaleEmbeddings

API 参考：AnyscaleEmbeddings