Friendli AI

FriendliAI 增强 AI 应用程序性能并优化 通过可扩展、高效的部署选项节省成本，专为高需求 AI 工作负载量身定制。

安装和设置

安装friendli-clientpython 软件包。

pip install -U langchain_community friendli-client

登录 Friendli Suite 创建个人访问令牌， 并将其设置为FRIENDLI_TOKENenvironment variabzle.

聊天模型

请参阅使用示例。

from langchain_community.chat_models.friendli import ChatFriendli

chat = ChatFriendli(model='meta-llama-3.1-8b-instruct')

for m in chat.stream("Tell me fun things to do in NYC"):
    print(m.content, end="", flush=True)

API 参考：ChatFriendli

LLM

请参阅使用示例。

from langchain_community.llms.friendli import Friendli

llm = Friendli(model='meta-llama-3.1-8b-instruct')

print(llm.invoke("def bubble_sort(): "))

API 参考：Friendli