Skip to main content
在 GitHub 上打开

Javelin AI Gateway

Javelin AI Gateway 服务是适用于 AI 应用程序的高性能企业级 API 网关。
它旨在简化各种大型语言模型 （LLM） 提供程序的使用和访问， 例如 OpenAI、Cohere、Anthropic 和自定义大型语言模型，方法是将 与 LLM 的所有交互的强大访问安全性。

Javelin 提供了一个高级接口，通过提供统一的终端节点来简化与 LLM 的交互 处理特定的 LLM 相关请求。

有关更多详细信息，请参阅 Javelin AI Gateway 文档。
Javelin Python SDK 是一个易于使用的客户端库，旨在嵌入到 AI 应用程序中

安装和设置

安装javelin_sdk要与 Javelin AI Gateway 交互，请执行以下作：

pip install 'javelin_sdk'

将 Javelin 的 API 密钥设置为环境变量：

export JAVELIN_API_KEY=...

完成示例


from langchain.chains import LLMChain
from langchain_community.llms import JavelinAIGateway
from langchain_core.prompts import PromptTemplate

route_completions = "eng_dept03"

gateway = JavelinAIGateway(
    gateway_uri="http://localhost:8000",
    route=route_completions,
    model_name="text-davinci-003",
)

llmchain = LLMChain(llm=gateway, prompt=prompt)
result = llmchain.run("podcast player")

print(result)

嵌入示例

from langchain_community.embeddings import JavelinAIGatewayEmbeddings
from langchain_openai import OpenAIEmbeddings

embeddings = JavelinAIGatewayEmbeddings(
    gateway_uri="http://localhost:8000",
    route="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

聊天示例

from langchain_community.chat_models import ChatJavelinAIGateway
from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Artificial Intelligence has the power to transform humanity and make the world a better place"
    ),
]

chat = ChatJavelinAIGateway(
    gateway_uri="http://localhost:8000",
    route="mychatbot_route",
    model_name="gpt-3.5-turbo"
    params={
        "temperature": 0.1
    }
)

print(chat(messages))