CTranslate2

CTranslate2 是一个用于高效推理 Transformer 模型的 C++ 和 Python 库。

该项目实现了一个自定义运行时，应用了多种性能优化技术，如权重量化、层融合、批次重排序等，以加速 Transformer 模型在 CPU 和 GPU 上的运行并降低其内存占用。

项目仓库中包含了完整的功能列表和支持的模型。 开始之前，请先查看官方 快速入门指南。

安装与设置

安装 Python 包：

pip install ctranslate2

大型语言模型

查看 使用示例。

from langchain_community.llms import CTranslate2

API 参考:CTranslate2