LlamaEdge
LlamaEdge是运行定制化的最简单且最快的方式 以及在本地或边缘进行微调的 LLM。
- 轻量级推理应用程序。
LlamaEdge以 MB 为单位，而不是以 GB 为单位- 本机和 GPU 加速性能
- 支持许多 GPU 和硬件加速器
- 支持许多优化的推理库
- 广泛的 AI / LLM 模型选择
安装和设置
请参阅安装说明。
聊天模型
请参阅使用示例。
from langchain_community.chat_models.llama_edge import LlamaEdgeChatService
API 参考：LlamaEdgeChatService