Skip to main content
在 GitHub 上打开

Runhouse

本页介绍了如何在 LangChain 中使用 Runhouse 生态系统。 它分为三个部分:安装和设置、LLM 和嵌入。

安装和设置

  • 安装 Python SDKpip install runhouse
  • 如果您想使用 On-demand 集群,请使用sky check

自托管 LLM

对于基本的自托管 LLM,您可以使用SelfHostedHuggingFaceLLM类。了解更多 自定义 LLM,您可以使用SelfHostedPipeline父类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

有关自托管 LLM 的更详细演练,请参阅此笔记本

自托管嵌入

有几种方法可以通过 Runhouse 将自托管嵌入与 LangChain 一起使用。

对于来自 Hugging Face Transformers 模型的基本自托管嵌入,您可以使用 这SelfHostedEmbedding类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

有关自托管嵌入的更详细演练,请参阅此笔记本