Skip to main content
在 GitHub 上打开

NVIDIA

这langchain-nvidia-ai-endpointspackage 包含 LangChain 集成，使用 model 构建应用程序 NVIDIA NIM 推理微服务。NIM 支持跨域的模型，例如聊天、嵌入和重新排名模型 来自社区和 NVIDIA。这些模型由 NVIDIA 优化，可在 NVIDIA 上提供最佳性能 加速基础设施并部署为 NIM，NIM 是一种易于使用的预构建容器，可使用单个 命令。

NVIDIA 托管的 NIM 部署可在 NVIDIA API 目录中进行测试。测试后， 可以使用 NVIDIA AI Enterprise 许可证从 NVIDIA 的 API 目录中导出 NIM，并在本地或云中运行。 让企业拥有并完全控制其 IP 和 AI 应用程序。

NIM 按模型打包为容器映像，并通过 NVIDIA NGC 目录作为 NGC 容器映像分发。 NIM 的核心是提供简单、一致且熟悉的 API，用于在 AI 模型上运行推理。

下面是一个示例，说明如何使用围绕文本生成和嵌入模型的一些常见功能。

安装

pip install -U --quiet langchain-nvidia-ai-endpoints

设置

要开始使用，请执行以下作：

  1. 在托管 NVIDIA AI Foundation 模型的 NVIDIA 上创建一个免费帐户。

  2. 单击您选择的型号。

  3. 在 Input （输入） 下，选择 Python 选项卡，然后单击Get API Key.然后单击Generate Key.

  4. 将生成的密钥复制并保存为 NVIDIA_API_KEY。从那里，您应该可以访问终端节点。

import getpass
import os

if not os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
    nvidia_api_key = getpass.getpass("Enter your NVIDIA API key: ")
    assert nvidia_api_key.startswith("nvapi-"), f"{nvidia_api_key[:5]}... is not a valid key"
    os.environ["NVIDIA_API_KEY"] = nvidia_api_key

使用 NVIDIA API Catalog

from langchain_nvidia_ai_endpoints import ChatNVIDIA

llm = ChatNVIDIA(model="mistralai/mixtral-8x22b-instruct-v0.1")
result = llm.invoke("Write a ballad about LangChain.")
print(result.content)
API 参考：ChatNVIDIA

使用 API，您可以查询 NVIDIA API Catalog 上可用的实时终端节点，以从 DGX 托管的云计算环境中快速获得结果。所有模型都是源可访问的，并且可以使用 NVIDIA NIM 部署在您自己的计算集群上，NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，如下一节使用 NVIDIA NIM 所示。

使用 NVIDIA NIM

准备好部署后，您可以使用 NVIDIA NIM（包含在 NVIDIA AI Enterprise 软件许可证中）自托管模型，并在任何地方运行它们，从而获得自定义的所有权，并完全控制您的知识产权 （IP） 和 AI 应用程序。

了解有关 NIM 的更多信息

from langchain_nvidia_ai_endpoints import ChatNVIDIA, NVIDIAEmbeddings, NVIDIARerank

# connect to a chat NIM running at localhost:8000, specifying a model
llm = ChatNVIDIA(base_url="http://localhost:8000/v1", model="meta/llama3-8b-instruct")

# connect to an embedding NIM running at localhost:8080
embedder = NVIDIAEmbeddings(base_url="http://localhost:8080/v1")

# connect to a reranking NIM running at localhost:2016
ranker = NVIDIARerank(base_url="http://localhost:2016/v1")

使用 NVIDIA AI Foundation 端点

LangChain 通过熟悉的 API 直接支持一系列 NVIDIA AI Foundation 模型。

可以在 API Catalog 中找到受支持的活动模型。

以下是帮助您入门的有用示例：