CTranslate2

CTranslate2 是一个 C++ 和 Python 库 使用 Transformer 模型进行高效推理。

该项目实现了一个自定义运行时，该运行时应用了许多性能优化 权重量化、层融合、批量重新排序等技术， 以加速和减少 Transformer 模型在 CPU 和 GPU 上的内存使用。

项目存储库中包含功能和受支持模型的完整列表。 首先，请查看官方快速入门指南。

安装和设置

安装 Python 包：

pip install ctranslate2

LLM

请参阅使用示例。

from langchain_community.llms import CTranslate2

API 参考：CTranslate2