Banana

Banana 为 AI 模型提供了无服务器 GPU 推理，一个 CI/CD 构建管道和一个简单的 Python 框架（Potassium）来服务器您的模型。

本页介绍了如何在 LangChain 中使用 Banana 生态系统。

安装和设置

安装 python 软件包banana-dev:

pip install banana-dev

从 Banana.dev 控制面板获取 Banana 财务会计软件的 api 密钥并将其设置为环境变量（BANANA_API_KEY)
从模型的详细信息页面获取模型的 key 和 url slug。

定义您的 Banana 财务会计软件模板

您需要为您的 Banana 应用程序设置一个 Github 存储库。您可以使用本指南在 5 分钟内开始使用。

或者，对于现成的 LLM 示例，您可以查看 Banana 的 CodeLlama-7B-Instruct-GPTQ GitHub 存储库。只需将其 fork 并部署在 Banana 中即可。

其他 starter 存储库可在此处获取。

构建 Banana 应用程序

要在 Langchain 中使用 Banana 应用程序，您必须包含outputs钥匙，并且该值必须为 String。

# Return the results as a dictionary
result = {'outputs': result}

一个示例推理函数是：

@app.handler("/")
def handler(context: dict, request: Request) -> Response:
    """Handle a request to generate code from a prompt."""
    model = context.get("model")
    tokenizer = context.get("tokenizer")
    max_new_tokens = request.json.get("max_new_tokens", 512)
    temperature = request.json.get("temperature", 0.7)
    prompt = request.json.get("prompt")
    prompt_template=f'''[INST] Write code to solve the following coding problem that obeys the constraints and passes the example test cases. Please wrap your code answer using ```:
    {prompt}
    [/INST]
    '''
    input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
    output = model.generate(inputs=input_ids, temperature=temperature, max_new_tokens=max_new_tokens)
    result = tokenizer.decode(output[0])
    return Response(json={"outputs": result}, status=200)

此示例来自app.py文件。

LLM

from langchain_community.llms import Banana

API 参考：Banana

请参阅使用示例。