OctoAI

OctoAI 提供了易于访问的高效计算资源，使用户能够将自己选择的人工智能模型集成到应用程序中。OctoAI 计算服务帮助您轻松地运行、调整和扩展人工智能应用。

此示例介绍了如何使用 LangChain 与 OctoAI LLM 端点 进行交互

设置

要运行我们的示例应用，只需执行两个简单的步骤即可：

1. 从您的OctoAI账户页面获取API令牌。

2. 在下面的代码单元中粘贴您的API密钥。

注意：如果你想使用不同的LLM模型，可以按照从Python构建容器和从容器创建自定义端点的步骤，自行将模型容器化并创建自定义OctoAI端点，然后更新你的OCTOAI_API_BASE环境变量。

import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"

from langchain.chains import LLMChain
from langchain_community.llms.octoai_endpoint import OctoAIEndpoint
from langchain_core.prompts import PromptTemplate

API 参考:LLMChain |OctoAIEndpoint | 提示模板

示例

template = """Below is an instruction that describes a task. Write a response that appropriately completes the request.\n Instruction:\n{question}\n Response: """
prompt = PromptTemplate.from_template(template)

llm = OctoAIEndpoint(
    model_name="llama-2-13b-chat-fp16",
    max_tokens=200,
    presence_penalty=0,
    temperature=0.1,
    top_p=0.9,
)

question = "Who was Leonardo da Vinci?"

chain = prompt | llm

print(chain.invoke(question))

莱昂纳多·达·芬奇是一位真正的文艺复兴时期全才。他于1452年出生于意大利的芬奇，以其在艺术、科学、工程和数学等多个领域的成就而闻名。他被认为是有史以来最伟大的画家之一，其最著名的作品包括《蒙娜丽莎》和《最后的晚餐》。除了艺术成就之外，达·芬奇在工程学和解剖学方面也做出了重要贡献，他设计的机械和发明比其所处时代超前了数个世纪。他还有大量详尽的笔记和绘图，为人们了解他的思想和理念提供了宝贵的资料。时至今日，达·芬奇的遗产仍在持续激励和影响着全世界的艺术家、科学家和思想家。

相关

• 大语言模型 概念指南
• LLM 操操作指南