提供商更多LlamaEdge在此页面上LlamaEdge LlamaEdge 是在本地或边缘设备上运行定制化和微调后的 LLM 的最简单、最快的方式。 轻量级推理应用。LlamaEdge 的单位是 MB 而非 GB 原生和 GPU 加速性能 支持多种 GPU 和硬件加速器 支持多种优化后的推理库 广泛的 AI / LLM 模型选择 安装与设置¶ 查看 安装说明。 聊天模型 查看 使用示例。 from langchain_community.chat_models.llama_edge import LlamaEdgeChatServiceAPI 参考:LlamaEdgeChatService
