Shale Protocol
Shale Protocol 提供了针对开放型LLM的生产级推理API。它是一个即插即用的API，因为它托管在一个高度可扩展的GPU云基础设施上。
我们的免费版本支持每个密钥每天最多1000次请求，因为我们希望消除任何人开始使用大语言模型构建生成式AI应用的障碍。
使用Shale协议，开发人员/研究人员可以在不收费的情况下创建应用程序并探索开源大规模语言模型的能力。
此页面介绍了如何将Shale-Serve API与LangChain集成。
截至2023年6月，API 默认支持 Vicuna-13B。未来版本将支持更多大语言模型，如 Falcon-40B。
如何使用
1. 在https://shaleprotocol.com找到我们的Discord链接。通过我们Discord中的“Shale Bot”生成API密钥。无需信用卡，并且没有免费试用期。这是一个永久免费套餐，每天每个API密钥限制为1000次。
2. 使用 https://shale.live/v1 作为 OpenAI API 的直接替代方案
例如
from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser
import os
os.environ['OPENAI_API_BASE'] = "https://shale.live/v1"
os.environ['OPENAI_API_KEY'] = "ENTER YOUR API KEY"
llm = OpenAI()
template = """Question: {question}
# Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
llm_chain = prompt | llm | StrOutputParser()
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
llm_chain.invoke(question)