百度云 ElasticSearch VectorSearch

百度云 VectorSearch 是一个完全托管的企业级分布式搜索和分析服务，与开源 100% 兼容。百度云 VectorSearch 为结构化/非结构化数据提供低成本、高性能、可靠的检索分析平台级产品服务。作为向量数据库，它支持多种索引类型和相似距离方法。

Baidu Cloud ElasticSearch提供权限管理机制，方便用户自由配置集群权限，进一步保证数据安全。

此笔记本展示了如何使用与Baidu Cloud ElasticSearch VectorStore. 要运行，您应该启动并运行一个百度云 ElasticSearch 实例：

阅读帮助文档以快速熟悉和配置百度云 Elasticsearch 实例。

实例启动并运行后，按照以下步骤拆分文档、获取嵌入、连接到百度云 Elasticsearch 实例、索引文档并执行向量检索。

我们需要先安装以下 Python 包。

%pip install --upgrade --quiet langchain-community elasticsearch == 7.11.0

首先，我们想使用QianfanEmbeddings所以我们必须得到千帆 AK 和 SK。千帆的详细信息与百度千帆工作坊有关

import getpass
import os

if "QIANFAN_AK" not in os.environ:
    os.environ["QIANFAN_AK"] = getpass.getpass("Your Qianfan AK:")
if "QIANFAN_SK" not in os.environ:
    os.environ["QIANFAN_SK"] = getpass.getpass("Your Qianfan SK:")

其次，拆分文档并获取嵌入。

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../../state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

from langchain_community.embeddings import QianfanEmbeddingsEndpoint

embeddings = QianfanEmbeddingsEndpoint()

API 参考：TextLoader | CharacterTextSplitter （字符文本拆分器） | QianfanEmbeddings端点

然后，创建一个百度 ElasticeSearch 可访问实例。

# Create a bes instance and index docs.
from langchain_community.vectorstores import BESVectorStore

bes = BESVectorStore.from_documents(
    documents=docs,
    embedding=embeddings,
    bes_url="your bes cluster url",
    index_name="your vector index",
)
bes.client.indices.refresh(index="your vector index")

API 参考：BESVectorStore

最后，查询和检索数据

query = "What did the president say about Ketanji Brown Jackson"
docs = bes.similarity_search(query)
print(docs[0].page_content)

如果您在使用过程中遇到任何问题，请随时联系 liuboyao@baidu.com 或 chenweixu01@baidu.com，我们将尽最大努力为您提供支持。

矢量存储概念指南
Vector store 操作指南

相关