C Transformers

本页介绍了如何在 LangChain 中使用 C Transformers 库。 它分为两部分：安装和设置，然后是对特定 C Transformers 包装器的引用。

安装和设置

• 使用pip install ctransformers
• 下载支持的 GGML 模型（请参阅支持的模型)

包装

LLM

存在一个 CTransformers LLM 包装器，您可以使用以下方法访问它：

from langchain_community.llms import CTransformers

API 参考：CTransformers

它为所有模型提供了一个统一的界面：

llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2')

print(llm.invoke('AI is going to'))

如果您得到illegal instruction错误，请尝试使用lib='avx'或lib='basic':

llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2', lib='avx')

它可以与 Hugging Face Hub 上托管的模型一起使用：

llm = CTransformers(model='marella/gpt-2-ggml')

如果模型存储库具有多个模型文件 （.bin文件）中，使用以下方法指定模型文件：

llm = CTransformers(model='marella/gpt-2-ggml', model_file='ggml-model.bin')

可以使用config参数：

config = {'max_new_tokens': 256, 'repetition_penalty': 1.1}

llm = CTransformers(model='marella/gpt-2-ggml', config=config)

有关可用参数的列表，请参阅文档。

有关此笔记本的更详细演练。