Skip to main content
Open In ColabOpen on GitHub

阿里云 PAI EAS

阿里云PAI（平台for AI） 是一个基于云原生技术的轻量级且成本效益高的机器学习平台。它为您提供端到端的建模服务，在超过100种场景中根据数十亿特征和数百亿样本加速模型训练。

阿里云AI机器学习平台 是一个面向企业和开发者的机器学习或深度学习工程平台。它提供了易于使用、成本效益高、高性能且易于扩展的插件，可以应用于各种行业场景。凭借超过140种内置优化算法，Machine Learning Platform for AI 提供了包括数据标注(PAI-iTAG)、模型构建(PAI-Designer 和 PAI-DSW)、模型训练(PAI-DLC)、编译优化和推理部署(PAI-EAS)在内的全流程AI工程能力。

PAI-EAS 支持不同类型的硬件资源，包括CPU和GPU，并具有高吞吐量和低延迟的特点。它允许您通过几下点击部署大规模复杂的模型，并能实时进行弹性缩放。同时，还提供了一套全面的运维和监控系统。

Setup EAS 服务​

设置环境变量以初始化EAS服务URL和令牌。 更多详细信息请参阅此文档。

export EAS_SERVICE_URL=XXX
export EAS_SERVICE_TOKEN=XXX

另一个选项是使用以下代码：<br>

import os

from langchain_community.chat_models import PaiEasChatEndpoint
from langchain_core.language_models.chat_models import HumanMessage

os.environ["EAS_SERVICE_URL"] = "Your_EAS_Service_URL"
os.environ["EAS_SERVICE_TOKEN"] = "Your_EAS_Service_Token"
chat = PaiEasChatEndpoint(
    eas_service_url=os.environ["EAS_SERVICE_URL"],
    eas_service_token=os.environ["EAS_SERVICE_TOKEN"],
)

运行聊天模型​

您可以使用默认设置调用EAS服务，如下所示：

output = chat.invoke([HumanMessage(content="write a funny joke")])
print("output:", output)

或，使用新的推理参数调用EAS服务:

kwargs = {"temperature": 0.8, "top_p": 0.8, "top_k": 5}
output = chat.invoke([HumanMessage(content="write a funny joke")], **kwargs)
print("output:", output)

或者，运行流式调用以获取流式响应：

outputs = chat.stream([HumanMessage(content="hi")], streaming=True)
for output in outputs:
    print("stream output:", output)