SambaNova
客户正在转向 SambaNova 以快速部署最先进的 AI 功能,以获得竞争优势。我们专门构建的企业级 AI 平台是下一代 AI 计算的技术支柱。我们为基础模型提供支持,以解锁数据中隐藏的宝贵业务洞察。
SambaNova RDU 专为 AI 而设计,采用革命性的数据流架构构建。这种设计使 RDU 对于这些工作负载的效率明显高于 GPU,因为它消除了对内存的冗余调用,这是 GPU 运行方式的固有限制。这种内置效率是使 RDU 能够以一小部分占用空间实现比 GPU 高得多的性能的功能之一。
在我们的架构之上,我们还开发了一些平台,使公司和开发人员能够充分利用 RDU 处理器和开源模型。
SambaNovaCloud 云
SambaNova 的 SambaNova Cloud 是一个使用开源模型执行推理的平台
您可以在此处获取免费的 SambaNovaCloud API 密钥
桑巴工作室
SambaNova 的 SambaStudio 是一个基于 GUI 的丰富平台,可提供在 SambaNova DataScale 系统中训练、部署和管理模型的功能。
安装和设置
安装集成包:
pip install langchain-sambanova
将 API 密钥设置为环境变量:
如果您是 SambaNovaCloud 用户:
export SAMBANOVA_API_KEY="your-sambanova-cloud-api-key-here"
或者如果您是 SambaStudio 用户
export SAMBASTUDIO_API_KEY="your-sambastudio-api-key-here"
聊天模型
from langchain_sambanova import ChatSambaNovaCloud
llm = ChatSambaNovaCloud(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")
有关 ChatSambaNovaCloud 组件的更详细演练,请参阅此笔记本
from langchain_sambanova import ChatSambaStudio
llm = ChatSambaStudio(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")
有关 ChatSambaStudio 组件的更详细演练,请参阅此笔记本
嵌入模型
from langchain_sambanova import SambaNovaCloudEmbeddings
embeddings = SambaNovaCloudEmbeddings(model="E5-Mistral-7B-Instruct")
embeddings.embed_query("What is the meaning of life?")
有关 SambaStudioEmbeddings 组件的更详细演练,请参阅此笔记本
from langchain_sambanova import SambaStudioEmbeddings
embeddings = SambaStudioEmbeddings(model="e5-mistral-7b-instruct")
embeddings.embed_query("What is the meaning of life?")
有关 SambaStudioEmbeddings 组件的更详细演练,请参阅此笔记本
API 参考 langchain-sambanova