Skip to main content
Open In ColabOpen on GitHub

IPEX-LLM

IPEX-LLM 是一个基于 PyTorch 的库，用于在 Intel CPU 和 GPU（例如带有集成显卡的本地 PC，以及 Arc、Flex 和 Max 等独立显卡）上以极低延迟运行大语言模型（LLM）。

IPEX-LLM 在 Intel GPU 上​

此示例介绍了如何使用 LangChain 在 Intel GPU 上通过 ipex-llm 进行文本生成的交互。

注意

建议仅使用配备Intel Arc A系列GPU（不包括Intel Arc A300系列或Pro A60）的Windows用户直接在Jupyter notebook中运行“IPEX-LLM on Intel GPU”部分。对于其他情况（例如Linux用户、Intel集成显卡等），建议在终端中通过Python脚本运行代码，以获得最佳体验。

安装先决条件​

为了从Intel GPU上的IPEX-LLM中受益，需要完成一些工具安装和环境准备的先决步骤。

如果您是Windows用户，请访问在配备Intel GPU的Windows上安装IPEX-LLM指南，并按照安装先决条件更新GPU驱动程序（可选）并安装Conda。

如果您是Linux用户，请访问在配备Intel GPU的Linux上安装IPEX-LLM，并按照安装先决条件安装GPU驱动程序、Intel® oneAPI基础工具包2024.0以及Conda。

设置​

完成先决条件的安装后，你应该已经创建了一个包含所有先决条件的conda环境。在此conda环境中启动jupyter服务：

%pip install -qU langchain langchain-community

在英特尔GPU上本地运行大语言模型（LLM）时，请安装IEPX-LLM。

%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/

注意

您也可以将 https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/ 用作额外的插入删除URL。

运行时配置​

为了获得最佳性能，建议根据您的设备设置多个环境变量：

Windows 用户（配备 Intel Core Ultra 集成显卡）​

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"

Windows 用户（搭载 Intel Arc A 系列 GPU）​

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"

注意

每个模型首次在Intel iGPU/Intel Arc A300系列或Pro A60上运行时，可能需要几分钟时间进行编译。

对于其他GPU类型，请参考此处（Windows用户）和此处（Linux用户）。

基本用法​

import warnings

from langchain.chains import LLMChain
from langchain_community.llms import IpexLLM
from langchain_core.prompts import PromptTemplate

warnings.filterwarnings("ignore", category=UserWarning, message=".*padding_mask.*")

指定模型的提示模板。在此示例中，我们使用 vicuna-1.5 模型。如果您使用的是其他模型，请相应地选择合适的模板。

template = "USER: {question}\nASSISTANT:"
prompt = PromptTemplate(template=template, input_variables=["question"])

使用 IpexLLM 通过 IpexLLM.from_model_id 在本地加载模型。它将直接以 Huggingface 格式加载模型，并自动将其转换为低比特格式用于推理。在初始化 IpexLLM 时，将 device 设置为 "xpu" 的 model_kwargs，以便将大语言模型加载到 Intel GPU 上。

llm = IpexLLM.from_model_id(
    model_id="lmsys/vicuna-7b-v1.5",
    model_kwargs={
        "temperature": 0,
        "max_length": 64,
        "trust_remote_code": True,
        "device": "xpu",
    },
)

在链中使用它

llm_chain = prompt | llm

question = "What is AI?"
output = llm_chain.invoke(question)

保存/加载低比特模型​

或者，您可能会将低比特模型一次性保存到磁盘，并使用 from_model_id_low_bit 而不是 from_model_id 在之后重新加载以供后续使用——即使在不同的机器之间也可实现。这种方式非常节省空间，因为低比特模型所需的磁盘空间远小于原始模型。并且在速度和内存使用方面，from_model_id_low_bit 也比 from_model_id 更高效，因为它跳过了模型转换步骤。您也可以类似地在 model_kwargs 中将 device 设置为 "xpu"，以便将LLM模型加载到Intel GPU上。

要保存低比特模型，请按如下方式使用 save_low_bit。

saved_lowbit_model_path = "./vicuna-7b-1.5-low-bit"  # path to save low-bit model
llm.model.save_low_bit(saved_lowbit_model_path)
del llm

从以下保存的低比特模型路径加载模型。

请注意，低比特模型的保存路径仅包含模型本身，而不包含分词器。如果您希望将所有内容放在一个位置，则需要手动从原始模型目录下载或复制分词器文件到低比特模型的保存位置。

llm_lowbit = IpexLLM.from_model_id_low_bit(
    model_id=saved_lowbit_model_path,
    tokenizer_id="lmsys/vicuna-7b-v1.5",
    # tokenizer_name=saved_lowbit_model_path,  # copy the tokenizers to saved path if you want to use it this way
    model_kwargs={
        "temperature": 0,
        "max_length": 64,
        "trust_remote_code": True,
        "device": "xpu",
    },
)

在链中使用加载的模型：

llm_chain = prompt | llm_lowbit


question = "What is AI?"
output = llm_chain.invoke(question)

IPEX-LLM 在 Intel CPU 上​

此示例介绍了如何使用 LangChain 在 Intel CPU 上通过 ipex-llm 进行文本生成的交互。

设置​

# Update Langchain

%pip install -qU langchain langchain-community

在 Intel CPU 上本地运行大语言模型 (LLM) 请安装 IEPX-LLM：

Windows 用户：​

%pip install --pre --upgrade ipex-llm[all]

对于Linux用户：​

%pip install --pre --upgrade ipex-llm[all] --extra-index-url https://download.pytorch.org/whl/cpu

基本用法​

import warnings

from langchain.chains import LLMChain
from langchain_community.llms import IpexLLM
from langchain_core.prompts import PromptTemplate

warnings.filterwarnings("ignore", category=UserWarning, message=".*padding_mask.*")

指定模型的提示模板。在此示例中，我们使用 vicuna-1.5 模型。如果您使用的是其他模型，请相应地选择合适的模板。

template = "USER: {question}\nASSISTANT:"
prompt = PromptTemplate(template=template, input_variables=["question"])

使用 IpexLLM 并通过 IpexLLM.from_model_id 在本地加载模型。它将直接以 Huggingface 格式加载模型，并自动将其转换为低比特格式以进行推理。

llm = IpexLLM.from_model_id(
    model_id="lmsys/vicuna-7b-v1.5",
    model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)

在链中使用它：

llm_chain = prompt | llm

question = "What is AI?"
output = llm_chain.invoke(question)

保存/加载低比特模型​

或者，您可能会将低比特模型一次性保存到磁盘，并使用 from_model_id_low_bit 而不是 from_model_id 在之后重新加载它——即使在不同的机器之间也可以。这种方式非常节省空间，因为低比特模型所需的磁盘空间远小于原始模型。并且在速度和内存使用方面，from_model_id_low_bit 也比 from_model_id 更高效，因为它跳过了模型转换步骤。

要保存低比特模型，请按如下方式使用 save_low_bit：

saved_lowbit_model_path = "./vicuna-7b-1.5-low-bit"  # path to save low-bit model
llm.model.save_low_bit(saved_lowbit_model_path)
del llm

从以下保存的低比特模型路径加载模型。

请注意，低比特模型的保存路径仅包含模型本身，而不包含分词器。如果您希望将所有内容放在一个位置，则需要手动从原始模型目录下载或复制分词器文件到低比特模型的保存位置。

llm_lowbit = IpexLLM.from_model_id_low_bit(
    model_id=saved_lowbit_model_path,
    tokenizer_id="lmsys/vicuna-7b-v1.5",
    # tokenizer_name=saved_lowbit_model_path,  # copy the tokenizers to saved path if you want to use it this way
    model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)

在链中使用加载的模型：

llm_chain = prompt | llm_lowbit


question = "What is AI?"
output = llm_chain.invoke(question)