百度智能云 ElasticSearch 向量搜索

Baidu Cloud VectorSearch 是一个完全托管的企业级分布式搜索和分析服务，100% 兼容开源。Baidu Cloud VectorSearch 提供低成本、高性能且可靠的结构化/非结构化数据检索与分析平台级产品服务。作为向量数据库，它支持多种索引类型和相似度距离方法。

Baidu Cloud ElasticSearch 提供了一种权限管理机制，使您可以自由配置集群权限，进一步确保数据安全。

这个笔记本展示了如何使用与Baidu Cloud ElasticSearch VectorStore相关的功能。要运行，请确保您已经启动了一个百度云ElasticSearch实例：

请阅读帮助文档以快速熟悉并配置百度云ElasticSearch实例。

在实例运行后，请按照以下步骤操作：拆分文档、获取嵌入向量、连接到百度云Elasticsearch实例、索引文档，并执行向量检索。

我们首先需要安装以下Python包。

%pip install --upgrade --quiet langchain-community elasticsearch == 7.11.0

首先，我们需要使用QianfanEmbeddings，因此必须获取Qianfan的AK和SK。有关QianFan的详细信息请参见百度Qianfan工作室。

import getpass
import os

if "QIANFAN_AK" not in os.environ:
    os.environ["QIANFAN_AK"] = getpass.getpass("Your Qianfan AK:")
if "QIANFAN_SK" not in os.environ:
    os.environ["QIANFAN_SK"] = getpass.getpass("Your Qianfan SK:")

其次，分割文档并获取嵌入。

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../../state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

from langchain_community.embeddings import QianfanEmbeddingsEndpoint

embeddings = QianfanEmbeddingsEndpoint()

API 参考:文本加载器 |CharacterTextSplitter |千帆嵌入端点

然后，创建一个可访问的百度ElasticeSearch实例。

# Create a bes instance and index docs.
from langchain_community.vectorstores import BESVectorStore

bes = BESVectorStore.from_documents(
    documents=docs,
    embedding=embeddings,
    bes_url="your bes cluster url",
    index_name="your vector index",
)
bes.client.indices.refresh(index="your vector index")

API 参考:BES 向量存储库

最终，查询并检索数据

query = "What did the president say about Ketanji Brown Jackson"
docs = bes.similarity_search(query)
print(docs[0].page_content)

请在使用过程中遇到任何问题时，随时联系 liuboyao@baidu.com 或 chenweixu01@baidu.com，我们将尽力为您提供支持。

向量存储概念指南
向量存储使用指南

相关​

相关