C 变压器

C Transformers 库为 GGML 模型提供 Python 绑定。

此示例介绍了如何使用 LangChain 与C Transformers 模型。

安装

%pip install --upgrade --quiet  ctransformers

负载模型

from langchain_community.llms import CTransformers

llm = CTransformers(model="marella/gpt-2-ggml")

API 参考：CTransformers

生成文本

print(llm.invoke("AI is going to"))

流

from langchain_core.callbacks import StreamingStdOutCallbackHandler

llm = CTransformers(
    model="marella/gpt-2-ggml", callbacks=[StreamingStdOutCallbackHandler()]
)

response = llm.invoke("AI is going to")

API 参考：StreamingStdOutCallbackHandler

LLMChain

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer:"""

prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

response = llm_chain.run("What is AI?")

API 参考：LLMChain | 提示模板

LLM 概念指南
LLM 操作指南

相关