📄️ AI21SemanticTextSplitter
此示例介绍了如何在 LangChain 中使用 AI21SemanticTextSplitter。
📄️ Beautiful Soup
Beautiful Soup 是一个用于解析的 Python 包
📄️ Cross Encoder Reranker
本笔记本展示了如何使用您自己来自 Hugging Face 交叉编码器模型或实现交叉编码器功能的 Hugging Face 模型(例如:BAAI/bge-reranker-base)在检索器中实现重排序。SagemakerEndpointCrossEncoder 使您能够使用加载在 Sagemaker 上的这些 HuggingFace 模型。
📄️ DashScope Reranker
此笔记本展示了如何使用DashScope重排序器进行文档压缩和检索。DashScope是阿里云(Aliyun)提供的生成式AI服务。
📄️ Doctran: extract properties
我们可以使用 Doctran 库提取文档的有用特征,该库利用 OpenAI 的函数调用功能来提取特定的元数据。
📄️ Doctran: interrogate documents
在向量存储知识库中使用的文档通常以叙述性或对话格式存储。然而,大多数用户查询是以问题形式提出的。如果我们在将文档向量化之前将其转换为问答格式,就可以提高检索到相关文档的可能性,并降低检索到不相关文档的可能性。
📄️ Doctran: language translation
通过嵌入(embeddings)比较文档的优势在于能够跨多种语言工作。“Harrison says hello”和“Harrison dice hola”将在向量空间中占据相似的位置,因为它们在语义上具有相同的含义。
📄️ Google Cloud Vertex AI Reranker
Vertex Search Ranking API 是 Vertex AI Agent Builder 中的独立 API 之一。它接收一组文档列表,并根据这些文档与查询的相关性对它们进行重新排序。与仅考虑文档和查询之间语义相似性的嵌入技术相比,排名 API 能够为您提供文档回答特定查询的精确评分。在检索到一组初始候选文档后,可使用排名 API 来提升搜索结果的质量。
📄️ Google Cloud Document AI
Document AI 是 Google Cloud 提供的一个文档理解平台,可将文档中的非结构化数据转换为结构化数据,从而更轻松地进行理解、分析和使用。
📄️ Google Translate
Google Translate 是由 Google 开发的一种多语言神经机器翻译服务,用于将文本、文档和网站从一种语言翻译成另一种语言。
📄️ HTML to text
html2text 是一个 Python 包,可将 HTML 页面转换为干净、易读的纯 ASCII 文本。
📄️ Infinity Reranker
Infinity 是一个用于提供文本嵌入、重排序模型和 CLIP 的高吞吐量、低延迟的 REST API。
📄️ Jina Reranker
此笔记本展示了如何使用 Jina Reranker 进行文档压缩和检索。
📄️ Markdownify
markdownify 是一个 Python 包,可将 HTML 文档转换为 Markdown 格式,并提供可自定义的选项来处理标签(链接、图片等)、标题样式及其他内容。
📄️ Nuclia
Nuclia 自动化地对来自任何内部和外部源的非结构化数据进行索引,提供优化的搜索结果和生成的答案。它可以处理视频和音频转录、图像内容提取以及文档解析。
📄️ OpenAI metadata tagger
为摄取的文档添加结构化元数据(例如文档的标题、语气或长度)通常非常有用,这样可以在后续实现更有针对性的相似性搜索。然而,对于大量文档来说,手动执行此标签过程可能会很繁琐。
📄️ OpenVINO Reranker
OpenVINO™ 是一个用于优化和部署 AI 推理的开源工具包。OpenVINO™ 运行时支持多种硬件设备,包括 x86 和 ARM CPU,以及 Intel GPU。它有助于提升计算机视觉、自动语音识别、自然语言处理及其他常见任务中的深度学习性能。
📄️ RankLLM Reranker
RankLLM 是一个灵活的重排序框架,支持列表式、成对式和点对式排序模型。它包含 RankVicuna、RankZephyr、MonoT5、DuoT5、LiT5 和 FirstMistral,并集成了 FastChat、vLLM、SGLang 和 TensorRT-LLM,以实现高效的推理。RankLLM 针对检索和排序任务进行了优化,能够利用开源大语言模型以及 RankGPT 和 RankGemini 等专有重排序器。它支持批量推理、首令牌重排序,以及通过 BM25 和 SPLADE 进行检索。
📄️ Volcengine Reranker
该笔记本展示了如何使用火山引擎重排序器(Volcengine Reranker)进行文档压缩与检索。火山引擎是由抖音母公司字节跳动开发的云服务平台。
📄️ VoyageAI Reranker
Voyage AI 提供先进的嵌入/向量化模型。