IPEX-LLM

IPEX-LLM 是一个 PyTorch 库，用于在 Intel CPU 和 GPU（例如，带有 iGPU 的本地 PC、Arc、Flex 和 Max 等独立 GPU）上运行 LLM，延迟非常低。

Intel GPU 上的 IPEX-LLM

此示例介绍了如何使用 LangChain 与ipex-llm用于在 Intel GPU 上生成文本。

注意

建议只有使用 Intel Arc A 系列 GPU（Intel Arc A300 系列或 Pro A60 除外）的 Windows 用户才能直接运行 Jupyter Notebook，请参阅“Intel GPU 上的 IPEX-LLM”部分。对于其他情况（例如 Linux 用户、Intel iGPU 等），建议在终端中使用 Python 脚本运行代码以获得最佳体验。

安装先决条件

要从 Intel GPU 上的 IPEX-LLM 中受益，工具安装和环境准备有几个先决条件步骤。

如果您是 Windows 用户，请访问使用 Intel GPU 在 Windows 上安装 IPEX-LLM 指南，然后按照安装先决条件更新 GPU 驱动程序（可选）并安装 Conda。

如果您是 Linux 用户，请访问在使用 Intel GPU 的 Linux 上安装 IPEX-LLM，然后按照安装先决条件安装 GPU 驱动程序、Intel® oneAPI Base Toolkit 2024.0 和 Conda。

设置

安装必备组件后，您应该已创建安装了所有必备组件的 conda 环境。在此 conda 环境中启动 jupyter 服务：

%pip install -qU langchain langchain-community

安装 IEPX-LLM 以在 Intel GPU 上本地运行 LLM。

%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/

注意

您还可以使用https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/作为 extra-indel-url 的 URL 进行访问。

运行时配置

为了获得最佳性能，建议根据您的设备设置多个环境变量：

对于具有 Intel Core Ultra 集成 GPU 的 Windows 用户

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"

对于使用 Intel Arc A 系列 GPU 的 Windows 用户

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"

注意

对于每个型号首次在 Intel iGPU/Intel Arc A300 系列或 Pro A60 上运行，可能需要几分钟时间才能完成编译。

对于其他 GPU 类型，请参阅此处（Windows 用户）和此处（Linux 用户）。

基本用法

import warnings

from langchain.chains import LLMChain
from langchain_community.llms import IpexLLM
from langchain_core.prompts import PromptTemplate

warnings.filterwarnings("ignore", category=UserWarning, message=".*padding_mask.*")

API 参考：LLMChain | IpexLLM | 提示模板

为您的模型指定提示模板。在此示例中，我们使用 vicuna-1.5 模型。如果您正在使用其他模型，请相应地选择合适的模板。

template = "USER: {question}\nASSISTANT:"
prompt = PromptTemplate(template=template, input_variables=["question"])

使用 IpexLLM 在本地加载模型IpexLLM.from_model_id.它将直接以 Huggingface 格式加载模型，并自动将其转换为低位格式进行推理。设置device自"xpu"在model_kwargs初始化 IpexLLM 时，以便将 LLM 模型加载到 Intel GPU。

llm = IpexLLM.from_model_id(
    model_id="lmsys/vicuna-7b-v1.5",
    model_kwargs={
        "temperature": 0,
        "max_length": 64,
        "trust_remote_code": True,
        "device": "xpu",
    },
)

在 Chains 中使用

llm_chain = prompt | llm

question = "What is AI?"
output = llm_chain.invoke(question)

保存/加载低位模型

或者，您可以将低位模型保存到磁盘一次，然后使用from_model_id_low_bit而不是from_model_id重新加载它以供以后使用 - 甚至在不同的机器上。它非常节省空间，因为低位模型需要的磁盘空间比原始模型少得多。和from_model_id_low_bit也比from_model_id在速度和内存使用方面，因为它跳过了模型转换步骤。您可以同样设置device自"xpu"在model_kwargs以便将 LLM 模型加载到 Intel GPU。

要保存低位模型，请使用save_low_bit如下。

saved_lowbit_model_path = "./vicuna-7b-1.5-low-bit"  # path to save low-bit model
llm.model.save_low_bit(saved_lowbit_model_path)
del llm

从保存的 lowbit 模型路径加载模型，如下所示。

请注意，低位模型的保存路径仅包括模型本身，而不包括分词器。如果您希望将所有内容放在一个地方，则需要手动下载或复制 tokenizer 文件从原始模型的目录到保存低位模型的位置。

llm_lowbit = IpexLLM.from_model_id_low_bit(
    model_id=saved_lowbit_model_path,
    tokenizer_id="lmsys/vicuna-7b-v1.5",
    # tokenizer_name=saved_lowbit_model_path,  # copy the tokenizers to saved path if you want to use it this way
    model_kwargs={
        "temperature": 0,
        "max_length": 64,
        "trust_remote_code": True,
        "device": "xpu",
    },
)

在 Chains 中使用加载的模型：

llm_chain = prompt | llm_lowbit


question = "What is AI?"
output = llm_chain.invoke(question)

Intel CPU 上的 IPEX-LLM

此示例介绍了如何使用 LangChain 与ipex-llm用于在 Intel CPU 上生成文本。

设置

# Update Langchain

%pip install -qU langchain langchain-community

安装 IEPX-LLM 以在 Intel CPU 上本地运行 LLM：

对于 Windows 用户：

%pip install --pre --upgrade ipex-llm[all]

对于 Linux 用户：

%pip install --pre --upgrade ipex-llm[all] --extra-index-url https://download.pytorch.org/whl/cpu

基本用法

import warnings

from langchain.chains import LLMChain
from langchain_community.llms import IpexLLM
from langchain_core.prompts import PromptTemplate

warnings.filterwarnings("ignore", category=UserWarning, message=".*padding_mask.*")

API 参考：LLMChain | IpexLLM | 提示模板

为您的模型指定提示模板。在此示例中，我们使用 vicuna-1.5 模型。如果您正在使用其他模型，请相应地选择合适的模板。

template = "USER: {question}\nASSISTANT:"
prompt = PromptTemplate(template=template, input_variables=["question"])

使用 IpexLLM 在本地加载模型IpexLLM.from_model_id.它将直接以 Huggingface 格式加载模型，并自动将其转换为低位格式进行推理。

llm = IpexLLM.from_model_id(
    model_id="lmsys/vicuna-7b-v1.5",
    model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)

在 Chains 中使用它：

llm_chain = prompt | llm

question = "What is AI?"
output = llm_chain.invoke(question)

保存/加载低位模型

要保存低位模型，请使用save_low_bit如下：

saved_lowbit_model_path = "./vicuna-7b-1.5-low-bit"  # path to save low-bit model
llm.model.save_low_bit(saved_lowbit_model_path)
del llm

从保存的 lowbit 模型路径加载模型，如下所示。

请注意，低位模型的保存路径仅包括模型本身，而不包括分词器。如果您希望将所有内容放在一个地方，则需要手动下载或复制 tokenizer 文件从原始模型的目录到保存低位模型的位置。

llm_lowbit = IpexLLM.from_model_id_low_bit(
    model_id=saved_lowbit_model_path,
    tokenizer_id="lmsys/vicuna-7b-v1.5",
    # tokenizer_name=saved_lowbit_model_path,  # copy the tokenizers to saved path if you want to use it this way
    model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)

在 Chains 中使用加载的模型：

llm_chain = prompt | llm_lowbit


question = "What is AI?"
output = llm_chain.invoke(question)

LLM 概念指南
LLM 操作指南

Intel GPU 上的 IPEX-LLM

安装先决条件

设置

运行时配置

对于具有 Intel Core Ultra 集成 GPU 的 Windows 用户

对于使用 Intel Arc A 系列 GPU 的 Windows 用户

基本用法

保存/加载低位模型

Intel CPU 上的 IPEX-LLM

设置

对于 Windows 用户：

对于 Linux 用户：

基本用法

保存/加载低位模型

相关