Skip to main content
Open In ColabOpen on GitHub

BM25

BM25（维基百科） 也称为 Okapi BM25，是一种用于信息检索系统中的排名函数，用于估计文档相对于给定搜索查询的相关性。

BM25Retriever检索器使用了rank_bm25包。

%pip install --upgrade --quiet  rank_bm25
from langchain_community.retrievers import BM25Retriever
API 参考:BM25Retriever

创建新的检索器（Retriever）​

retriever = BM25Retriever.from_texts(["foo", "bar", "world", "hello", "foo bar"])

创建一个新的检索器与文档​

现在您可以使用您创建的文档来创建一个新的检索器。

from langchain_core.documents import Document

retriever = BM25Retriever.from_documents(
    [
        Document(page_content="foo"),
        Document(page_content="bar"),
        Document(page_content="world"),
        Document(page_content="hello"),
        Document(page_content="foo bar"),
    ]
)
API 参考:文档

使用检索器​

我们现在已经可以使用检索器了！

result = retriever.invoke("foo")
result
[Document(metadata={}, page_content='foo'),
 Document(metadata={}, page_content='foo bar'),
 Document(metadata={}, page_content='hello'),
 Document(metadata={}, page_content='world')]

预处理函数​

将自定义预处理函数传递给检索器，以提高搜索结果。在使用如Chroma、Pinecone或Faiss这样的向量存储来分块文档时，在单词级别对文本进行标记化可以增强检索。

import nltk

nltk.download("punkt_tab")
from nltk.tokenize import word_tokenize

retriever = BM25Retriever.from_documents(
    [
        Document(page_content="foo"),
        Document(page_content="bar"),
        Document(page_content="world"),
        Document(page_content="hello"),
        Document(page_content="foo bar"),
    ],
    k=2,
    preprocess_func=word_tokenize,
)

result = retriever.invoke("bar")
result
[Document(metadata={}, page_content='bar'),
 Document(metadata={}, page_content='foo bar')]