Apache Doris

Apache Doris 是一个用于实时分析的现代数据仓库。 它对大规模实时数据提供闪电般快速的分析。

通常Apache Doris归类为 OLAP，它在 ClickBench 中表现出出色的性能——分析 DBMS 的基准。由于它具有超快的矢量化执行引擎，因此它也可以用作快速矢量数据库。

您需要安装langchain-community跟pip install -qU langchain-community使用此集成

下面我们将展示如何使用 Apache Doris Vector Store。

设置

%pip install --upgrade --quiet  pymysql

设置update_vectordb = False在开始时。如果没有更新文档，那么我们不需要重新构建 docs 的嵌入

!pip install  sqlalchemy
!pip install langchain

from langchain.chains import RetrievalQA
from langchain_community.document_loaders import (
    DirectoryLoader,
    UnstructuredMarkdownLoader,
)
from langchain_community.vectorstores.apache_doris import (
    ApacheDoris,
    ApacheDorisSettings,
)
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_text_splitters import TokenTextSplitter

update_vectordb = False

API 参考：RetrievalQA | 目录加载器 | UnstructuredMarkdownLoader 软件 | ApacheDoris 的 | ApacheDoris设置 | OpenAI | OpenAI 嵌入 | TokenTextSplitter

加载文档并将其拆分为令牌

加载docs目录

对于 Apache Doris 文档，可以从 https://github.com/apache/doris clone 仓库，有docs目录中。

loader = DirectoryLoader(
    "./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader
)
documents = loader.load()

将 docs 拆分为 token，并设置update_vectordb = True因为有新的 docs/token。

# load text splitter and split docs into snippets of text
text_splitter = TokenTextSplitter(chunk_size=400, chunk_overlap=50)
split_docs = text_splitter.split_documents(documents)

# tell vectordb to update text embeddings
update_vectordb = True

split_docs[-20]

print（“# 文档 = %d， # 分割 = %d” % （len（文档）， len（split_docs）））

创建 vectordb 实例

使用 Apache Doris 作为 vectordb

def gen_apache_doris(update_vectordb, embeddings, settings):
    if update_vectordb:
        docsearch = ApacheDoris.from_documents(split_docs, embeddings, config=settings)
    else:
        docsearch = ApacheDoris(embeddings, settings)
    return docsearch

将标记转换为 embedding 并将它们放入 vectordb 中

这里我们使用 Apache Doris 作为 vectordb，你可以通过ApacheDorisSettings.

配置 Apache Doris 实例与配置 mysql 实例非常相似。您需要指定：

1. 主机/端口
2. username（默认：'root'）
3. password（默认：''）
4. database（默认值： 'default'）
5. table（默认： 'langchain'）

import os
from getpass import getpass

if "OPENAI_API_KEY" not in os.environ:
    os.environ["OPENAI_API_KEY"] = getpass()

update_vectordb = True

embeddings = OpenAIEmbeddings()

# configure Apache Doris settings(host/port/user/pw/db)
settings = ApacheDorisSettings()
settings.port = 9030
settings.host = "172.30.34.130"
settings.username = "root"
settings.password = ""
settings.database = "langchain"
docsearch = gen_apache_doris(update_vectordb, embeddings, settings)

print(docsearch)

update_vectordb = False

构建 QA 并向其提问

llm = OpenAI()
qa = RetrievalQA.from_chain_type(
    llm=llm, chain_type="stuff", retriever=docsearch.as_retriever()
)
query = "what is apache doris"
resp = qa.run(query)
print(resp)

相关

• 矢量存储概念指南
• Vector store 操作指南