Skip to main content
Open on GitHub

Konko

所有与 Konko 相关的功能

Konko AI 提供完全托管的 API，以帮助应用程序开发人员

  1. 选择适合其应用的正确开源或专有大型语言模型
  2. 构建应用程序更快，与领先的应用框架集成并使用完全托管的 API
  3. 微调较小的开源大语言模型，以极低的成本实现行业领先的性能
  4. 部署生产级 API，利用 Konko AI 符合 SOC 2 标准的多云基础设施，无需进行基础设施设置或管理，即可满足安全、隐私、吞吐量和延迟 SLA 要求

安装与设置

  1. 登录我们的 Web 应用以 创建 API 密钥，通过我们的端点访问模型，用于 聊天补全 和 文本补全。
  2. 启用 Python3.8+ 环境
  3. 安装 SDK
pip install konko
  1. 设置 API 密钥为环境变量(KONKO_API_KEY,OPENAI_API_KEY)
export KONKO_API_KEY={your_KONKO_API_KEY_here}
export OPENAI_API_KEY={your_OPENAI_API_KEY_here} #Optional

有关更多详细信息，请参阅Konko 文档。

LLM​

探索可用模型：首先浏览 Konko 上的可用模型。每个模型都针对不同的用例和能力而设计。

在Konko实例上查找运行模型列表的另一种方式是通过此端点。

查看一个示例的使用方式。

端点使用示例​

  • Completion with mistralai/Mistral-7B-v0.1:

    from langchain_community.llms import Konko
    llm = Konko(max_tokens=800, model='mistralai/Mistral-7B-v0.1')
    prompt = "Generate a Product Description for Apple Iphone 15"
    response = llm.invoke(prompt)

聊天模型​

查看一个示例的使用方式。

  • ChatCompletion with Mistral-7B:

    from langchain_core.messages import HumanMessage
    from langchain_community.chat_models import ChatKonko
    chat_instance = ChatKonko(max_tokens=10, model = 'mistralai/mistral-7b-instruct-v0.1')
    msg = HumanMessage(content="Hi")
    chat_response = chat_instance([msg])

如需进一步协助，请联系 support@konko.ai 或加入我们的 Discord。