UnstructuredMarkdownLoader

这本笔记本提供了快速入门 UnstructuredMarkdown 文档加载器的基本概述。要查看所有 __ModuleName__Loader 的功能和配置的详细文档，请参阅 API 参考。

概览

集成细节

Class	包	本地	序列化	JS支持
UnstructuredMarkdownLoader	langchain_community	❌	❌	✅

加载器功能​

来源	文档延迟加载	原生异步支持
UnstructuredMarkdownLoader	✅	❌

设置

要访问UnstructuredMarkdownLoader文档加载器，您需要安装langchain-community集成包和unstructured Python包。

Credentials

以下为翻译后的HTML内容，保持了原始的HTML结构和标签名称不变。

要启用对您的模型调用的自动跟踪，请设置您的LangSmith API密钥：

# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"

安装

安装 langchain_community 和 unstructured

%pip install -qU langchain_community unstructured

初始化

现在我们可以实例化我们的模型对象并加载文档。

您可以以两种模式之一运行加载器：“single”和“elements”。如果您使用“single”模式，文档将以单个Document对象的形式返回。如果您使用“elements”模式，未结构化库将把文档分割为元素（如Title和NarrativeText）。您可以在模式之后传递其他unstructured关键字参数以应用不同的unstructured设置。

from langchain_community.document_loaders import UnstructuredMarkdownLoader

loader = UnstructuredMarkdownLoader(
    "./example_data/example.md",
    mode="single",
    strategy="fast",
)

API 参考:UnstructuredMarkdownLoader

加载​

docs = loader.load()
docs[0]

Document(metadata={'source': './example_data/example.md'}, page_content='Sample Markdown Document\n\nIntroduction\n\nWelcome to this sample Markdown document. Markdown is a lightweight markup language used for formatting text. It\'s widely used for documentation, readme files, and more.\n\nFeatures\n\nHeaders\n\nMarkdown supports multiple levels of headers:\n\nHeader 1: # Header 1\n\nHeader 2: ## Header 2\n\nHeader 3: ### Header 3\n\nLists\n\nUnordered List\n\nItem 1\n\nItem 2\n\nSubitem 2.1\n\nSubitem 2.2\n\nOrdered List\n\nFirst item\n\nSecond item\n\nThird item\n\nLinks\n\nOpenAI is an AI research organization.\n\nImages\n\nHere\'s an example image:\n\nCode\n\nInline Code\n\nUse code for inline code snippets.\n\nCode Block\n\n\`\`\`python def greet(name): return f"Hello, {name}!"\n\nprint(greet("World")) \`\`\`')

print(docs[0].metadata)

{'source': './example_data/example.md'}

懒加载​

page = []
for doc in loader.lazy_load():
    page.append(doc)
    if len(page) >= 10:
        # do some paged operation, e.g.
        # index.upsert(page)

        page = []
page[0]

Document(metadata={'source': './example_data/example.md', 'link_texts': ['OpenAI'], 'link_urls': ['https://www.openai.com'], 'last_modified': '2024-08-14T15:04:18', 'languages': ['eng'], 'parent_id': 'de1f74bf226224377ab4d8b54f215bb9', 'filetype': 'text/markdown', 'file_directory': './example_data', 'filename': 'example.md', 'category': 'NarrativeText', 'element_id': '898a542a261f7dc65e0072d1e847d535'}, page_content='OpenAI is an AI research organization.')

Load Elements

在本例中，我们将加载 `0` 模式，该模式将返回 Markdown 文档中的不同元素列表：

from langchain_community.document_loaders import UnstructuredMarkdownLoader

loader = UnstructuredMarkdownLoader(
    "./example_data/example.md",
    mode="elements",
    strategy="fast",
)

docs = loader.load()
len(docs)

API 参考:UnstructuredMarkdownLoader

29

正如您所见，从example.md文件中提取了29个元素。第一个元素是预期的文档标题：

docs[0].page_content

'Sample Markdown Document'

API 参考

详细介绍了所有UnstructuredMarkdownLoader的功能和配置，请参阅API参考：https://python.langchain.com/api_reference/community/document_loaders/langchain_community.document_loaders.markdown.UnstructuredMarkdownLoader.html

相关

• 文档加载器 概念指南
• 文档加载器 使用指南