Xorbits 推理 (Xinference)

本笔记本介绍了如何在 LangChain 中使用 Xinference 嵌入

安装

通过 PyPI 安装 Xinference：

%pip install --upgrade --quiet  "xinference[all]"

部署本地或分布式集群中的Xinference。

对于本地部署，请运行xinference。

要将Xinference部署在集群中，首先使用xinference-supervisor启动一个Xinference管理节点。您也可以使用选项-p指定端口，使用-H指定主机。默认端口为9997。

然后，在每个您希望运行它们的服务器上使用xinference-worker启动Xinference工作者。

您可以从Xinference查阅README文件以获取更多信息。

包装器

要使用Xinference与LangChain配合，您需要首先启动一个模型。您可以使用命令行界面（CLI）来完成此操作：

!xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0

Model uid: 915845ee-2a04-11ee-8ed4-d29396a3f064

已为您返回一个模型UID。现在您可以在LangChain中使用Xinference嵌入：

from langchain_community.embeddings import XinferenceEmbeddings

xinference = XinferenceEmbeddings(
    server_url="http://0.0.0.0:9997", model_uid="915845ee-2a04-11ee-8ed4-d29396a3f064"
)

API 参考:XinferenceEmbeddings

query_result = xinference.embed_query("This is a test query")

doc_result = xinference.embed_documents(["text A", "text B"])

最后，当你不需要使用模型时，请终止它：

!xinference terminate --model-uid "915845ee-2a04-11ee-8ed4-d29396a3f064"

相关

• 嵌入模型 概念指南
• 嵌入模型 使用指南