C Transformers
本页面介绍如何在 LangChain 中使用 C Transformers 库。 内容分为两部分：安装与设置，以及特定 C Transformers 包装器的参考文档。
安装与设置¶
包装器
LLM
存在一个 CTransformers LLM 包装器，您可以通过以下方式访问：
from langchain_community.llms import CTransformers
API 参考:C Transformers
它为所有模型提供统一的接口：
llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2')
print(llm.invoke('AI is going to'))
如果您遇到illegal instruction错误，请尝试使用lib='avx'或lib='basic'：
llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2', lib='avx')
它可以用于托管在 Hugging Face Hub 上的模型：
llm = CTransformers(model='marella/gpt-2-ggml')
如果模型仓库包含多个模型文件（.bin 个文件），请使用以下命令指定一个模型文件：
llm = CTransformers(model='marella/gpt-2-ggml', model_file='ggml-model.bin')
Additional parameters can be passed using the config parameter:
config = {'max_new_tokens': 256, 'repetition_penalty': 1.1}
llm = CTransformers(model='marella/gpt-2-ggml', config=config)
查看 文档 以获取可用参数列表。
有关更详细的逐步指南，请参阅 此笔记本。