Marqo
本页面介绍如何在 LangChain 中使用 Marqo 生态系统。
Marqo是什么?
Marqo 是一个张量搜索引擎,它利用存储在内存中的 HNSW 索引中的嵌入向量,实现前沿的搜索速度。Marqo 支持通过水平索引分片扩展到数亿文档的索引规模,并允许进行异步和非阻塞的数据上传与搜索。Marqo 采用来自 PyTorch、Huggingface、OpenAI 等平台的最新机器学习模型。您可以从预配置模型开始,也可以引入自己的模型。内置的 ONNX 支持与转换功能,可在 CPU 和 GPU 上实现更快的推理速度和更高的吞吐量。
由于 Marqo 包含其自身的推理功能,您的文档可以混合文本和图像,您可以将带有来自其他系统数据的 Marqo 索引引入 LangChain 生态系统,而无需担心您的嵌入是否兼容。
Marqo 的部署方式灵活,您可以使用我们的 Docker 镜像自行开始,或 联系我们了解托管云服务!
要在本地使用我们的 Docker 镜像运行 Marqo,请参阅我们的入门指南。
安装与设置¶
- 使用
pip install marqo安装 Python SDK
包装器
向量存储
存在一个围绕 Marqo 索引的封装器,允许您在向量存储框架中使用它们。Marqo 让您可以从一系列模型中选择以生成嵌入,并暴露一些预处理配置。
Marqo 向量存储库也可以与现有的多模态索引协同工作,您的文档中可包含图像和文本的混合内容。如需更多信息,请参阅我们的文档。请注意,使用现有的一模态索引初始化 Marqo 向量存储库后,将无法通过 langchain 向量存储库add_texts方法向其添加任何新文档。
要导入此向量存储库:
from langchain_community.vectorstores import Marqo
API 参考:Marqo
如需更详细地了解 Marqo 包装器及其一些独特功能,请查看 此笔记本。