Skip to main content
在 GitHub 上打开

Konko

与 Konko 相关的所有功能

Konko AI 提供了一个完全托管的 API 来帮助应用程序开发人员

  1. 为其应用程序选择合适的开源或专有 LLM
  2. 通过与领先的应用程序框架和完全托管的 API 集成，更快地构建应用程序
  3. 微调较小的开源 LLM，以极低的成本实现行业领先的性能
  4. 使用 Konko AI 符合 SOC 2 标准的多云基础设施，部署满足安全、隐私、吞吐量和延迟 SLA 的生产规模 API，而无需基础设施设置或管理

安装和设置

  1. 登录我们的 Web 应用程序以创建 API 密钥，以便通过我们的终端节点访问模型以进行聊天完成和完成。
  2. 启用 Python3.8+ 环境
  3. 安装 SDK
pip install konko
  1. 将 API 密钥设置为环境变量（KONKO_API_KEY,OPENAI_API_KEY)
export KONKO_API_KEY={your_KONKO_API_KEY_here}
export OPENAI_API_KEY={your_OPENAI_API_KEY_here} #Optional

有关更多详细信息，请参阅 Konko 文档。

LLM

探索可用型号：首先浏览 Konko 上的可用模型。每种模型都适用于不同的使用案例和功能。

查找在 Konko 实例上运行的模型列表的另一种方法是通过此终端节点。

请参阅使用示例。

终端节点使用示例

  • 使用 mistralai/Mistral-7B-v0.1 完成：

    from langchain_community.llms import Konko
    llm = Konko(max_tokens=800, model='mistralai/Mistral-7B-v0.1')
    prompt = "Generate a Product Description for Apple Iphone 15"
    response = llm.invoke(prompt)

聊天模型

请参阅使用示例。

  • 使用 Mistral-7B 进行 ChatCompletion：

    from langchain_core.messages import HumanMessage
    from langchain_community.chat_models import ChatKonko
    chat_instance = ChatKonko(max_tokens=10, model = 'mistralai/mistral-7b-instruct-v0.1')
    msg = HumanMessage(content="Hi")
    chat_response = chat_instance([msg])

如需进一步帮助，请联系 support@konko.ai 或加入我们的 Discord。