Skip to main content
Open In ColabOpen on GitHub

IPEX-LLM：在英特尔 GPU 上运行本地 BGE 嵌入

IPEX-LLM 是一个基于 PyTorch 的库，用于在 Intel CPU 和 GPU（例如带有集成显卡的本地 PC，以及 Arc、Flex 和 Max 等独立显卡）上以极低延迟运行大语言模型（LLM）。

此示例介绍了如何在 Intel GPU 上使用 LangChain 执行嵌入任务，并且不进行 ipex-llm 项优化。这在 RAG、文档问答等应用中会非常有用。

注意

建议仅使用配备Intel Arc A系列GPU（不包括Intel Arc A300系列或Pro A60）的Windows用户直接运行此Jupyter笔记本。对于其他情况（例如Linux用户、Intel集成显卡等），建议在终端中使用Python脚本运行代码，以获得最佳体验。

安装先决条件​

为了从Intel GPU上的IPEX-LLM中受益，需要完成一些工具安装和环境准备的先决步骤。

如果您是Windows用户，请访问在配备Intel GPU的Windows上安装IPEX-LLM指南，并按照安装先决条件更新GPU驱动程序（可选）并安装Conda。

如果您是Linux用户，请访问在配备Intel GPU的Linux上安装IPEX-LLM，并按照安装先决条件安装GPU驱动程序、Intel® oneAPI基础工具包2024.0以及Conda。

设置​

完成先决条件的安装后，你应该已经创建了一个包含所有先决条件的conda环境。在此conda环境中启动jupyter服务：

%pip install -qU langchain langchain-community

在Intel GPU上安装IPEX-LLM以实现优化，以及sentence-transformers。

%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
%pip install sentence-transformers

注意

您也可以将 https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/ 用作额外的插入删除URL。

运行时配置​

为了获得最佳性能，建议根据您的设备设置多个环境变量：

Windows 用户（配备 Intel Core Ultra 集成显卡）​

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"

Windows 用户（搭载 Intel Arc A 系列 GPU）​

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"

注意

每个模型首次在Intel iGPU/Intel Arc A300系列或Pro A60上运行时，可能需要几分钟时间进行编译。

对于其他GPU类型，请参考此处（Windows用户）和此处（Linux用户）。

基本用法​

在初始化 IpexLLMBgeEmbeddings 时，将 device 设置为 "xpu" 会将嵌入模型放置在 Intel GPU 上，并受益于 IPEX-LLM 的优化：

from langchain_community.embeddings import IpexLLMBgeEmbeddings

embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={"device": "xpu"},
    encode_kwargs={"normalize_embeddings": True},
)

API 参考

sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local PC with iGPU, discrete GPU such as Arc, Flex and Max) with very low latency."
query = "What is IPEX-LLM?"

text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")

query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")