Skip to main content
Open In Colab在 GitHub 上打开

Xorbits 推理 （Xinference）

本笔记本介绍了如何在 LangChain 中使用 Xinference 嵌入

安装

安装Xinference通过 PyPI：

%pip install --upgrade --quiet  "xinference[all]"

在本地或分布式集群中部署 Xinference。​

对于本地部署，请运行xinference.

要在集群中部署 Xinference，请首先使用xinference-supervisor.您还可以使用选项 -p 指定端口，使用选项 -H 指定主机。默认端口为 9997。

然后，使用xinference-worker在要运行它们的每台服务器上。

有关更多信息，您可以查阅 Xinference 的 README 文件。

包装纸

要将 Xinference 与 LangChain 一起使用，您需要先启动一个模型。您可以使用命令行界面 （CLI） 来执行此作：

!xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0
Model uid: 915845ee-2a04-11ee-8ed4-d29396a3f064

将返回模型 UID 供您使用。现在，您可以将 Xinference 嵌入与 LangChain 一起使用：

from langchain_community.embeddings import XinferenceEmbeddings

xinference = XinferenceEmbeddings(
    server_url="http://0.0.0.0:9997", model_uid="915845ee-2a04-11ee-8ed4-d29396a3f064"
)
query_result = xinference.embed_query("This is a test query")
doc_result = xinference.embed_documents(["text A", "text B"])

最后，在不需要使用模型时终止模型：

!xinference terminate --model-uid "915845ee-2a04-11ee-8ed4-d29396a3f064"