大脑AI
Cerebrium是 AWS Sagemaker 的替代方案。它还提供对多个 LLM 模型的 API 访问。
本笔记本介绍了如何将 Langchain 与 CerebriumAI 结合使用。
安装 cerebrium
这cerebriumpackage 才能使用CerebriumAI应用程序接口。安装cerebrium用pip3 install cerebrium.
# Install the package
!pip3 install cerebrium
进口
import os
from langchain.chains import LLMChain
from langchain_community.llms import CerebriumAI
from langchain_core.prompts import PromptTemplate
设置环境 API Key
确保从 CerebriumAI 获取 API 密钥。请看这里。您将获得 1 小时的免费无服务器 GPU 计算时间来测试不同的模型。
os.environ["CEREBRIUMAI_API_KEY"] = "YOUR_KEY_HERE"
创建 CerebriumAI 实例
您可以指定不同的参数，例如模型终端节点 URL、最大长度、温度等。您必须提供终端节点 URL。
llm = CerebriumAI(endpoint_url="YOUR ENDPOINT URL HERE")
创建提示模板
我们将为 Question and Answer （问题与答案） 创建一个提示模板。
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
启动 LLMChain
llm_chain = LLMChain(prompt=prompt, llm=llm)
运行 LLMChain
提供问题并运行 LLMChain。
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
llm_chain.run(question)