Microsoft SharePoint

Microsoft SharePoint 是一个基于网站的协作系统，它使用工作流应用程序、“列表”数据库以及其他 Web 部件和安全功能，使业务团队能够协同工作，这些都是由 Microsoft 开发的。

此笔记本介绍如何从 SharePoint 文档库加载文档。默认情况下，文档加载程序会加载pdf,doc,docx和txt文件。您可以通过提供适当的解析器来加载其他文件类型（请参阅下面的更多内容）。

先决条件

使用 Microsoft 标识平台说明注册应用程序。
注册完成后，Azure 门户会显示应用注册的“概述”窗格。您将看到 Application （client） ID。也称为client ID，此值在 Microsoft 标识平台中唯一标识您的应用程序。
在第 1 项中将执行的步骤中，您可以将重定向 URI 设置为https://login.microsoftonline.com/common/oauth2/nativeclient
在您将执行第 1 项的步骤中，生成新密码（client_secret）在 Application Secrets （应用程序密钥）部分下。
按照本文档中的说明添加以下内容SCOPES (offline_access和Sites.Read.All）添加到您的应用程序。
要从文档库中检索文件，您需要其 ID。要获得它，您需要Tenant Name,Collection ID和Subsite ID.
要查找您的Tenant Name按照本文档中的说明进行作。一旦你得到这个，只需删除.onmicrosoft.com，并将其余部分作为Tenant Name.
要获取您的Collection ID和Subsite ID，您将需要您的 SharePoint site-name.你SharePoint站点 URL 的格式如下https://<tenant-name>.sharepoint.com/sites/<site-name>.此 URL 的最后一部分是site-name.
获取网站Collection ID，在浏览器中点击此 URL：https://<tenant>.sharepoint.com/sites/<site-name>/_api/site/id并复制Edm.Guid财产。
要获取Subsite ID（或 Web ID）使用：https://<tenant>.sharepoint.com/sites/<site-name>/_api/web/id并复制Edm.Guid财产。
这SharePoint site ID格式如下：<tenant-name>.sharepoint.com,<Collection ID>,<subsite ID>.您可以保留该值以在下一步中使用。
访问 Graph Explorer Playground 以获取Document Library ID.第一步是确保您使用与您的 SharePoint 站点关联的帐户登录。然后您需要向https://graph.microsoft.com/v1.0/sites/<SharePoint site ID>/drive响应将返回一个带有字段的有效负载id，它保存着您的Document Library ID.

🧑 从 SharePoint 文档库摄取文档的说明

🔑 认证

默认情况下，SharePointLoader期望CLIENT_ID和CLIENT_SECRET必须存储为名为O365_CLIENT_ID和O365_CLIENT_SECRET分别。您可以通过.env文件，或在脚本中使用以下命令。

os.environ['O365_CLIENT_ID'] = "YOUR CLIENT ID"
os.environ['O365_CLIENT_SECRET'] = "YOUR CLIENT SECRET"

此加载程序使用代表用户调用的身份验证。这是用户同意的 2 步身份验证。当您实例化加载程序时，它将调用将打印一个 URL，用户必须访问该 url 才能同意应用程序获得所需的权限。然后，用户必须访问此 URL 并同意该应用程序。然后，用户必须复制生成的页面 URL 并将其粘贴回控制台。如果登录尝试成功，该方法将返回 True。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID")

API 参考：SharePointLoader

身份验证完成后，加载程序将存储一个令牌（o365_token.txt）在~/.credentials/文件夹。此令牌稍后可用于身份验证，而无需前面解释的复制/粘贴步骤。要使用此令牌进行身份验证，您需要更改auth_with_tokenparameter 设置为 True。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)

API 参考：SharePointLoader

🗂️ 文档加载器

📑 从文档库目录加载文档

SharePointLoader可以从文档库中的特定文件夹加载文档。例如，您希望加载存储在Documents/marketing文件夹中的文件夹。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", folder_path="Documents/marketing", auth_with_token=True)
documents = loader.load()

API 参考：SharePointLoader

如果您收到错误Resource not found for the segment，请尝试使用folder_id而不是文件夹路径，后者可以从 Microsoft Graph API 获取

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True
                          folder_id="<folder-id>")
documents = loader.load()

如果您希望从根目录加载文档，您可以省略folder_id,folder_path和documents_ids加载器将加载根目录。

# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
documents = loader.load()

结合recursive=True您可以简单地从整个 SharePoint 加载所有文档：

# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID",
                          recursive=True,
                          auth_with_token=True)
documents = loader.load()

📑 从文档 ID 列表加载文档

另一种可能性是提供object_id对于要加载的每个文档。为此，您需要查询 Microsoft Graph API 以查找您感兴趣的所有文档 ID。此链接提供了有助于检索文档 ID 的终端节点列表。

例如，要检索有关存储在data/finance/文件夹中，您需要向以下地址发出请求：https://graph.microsoft.com/v1.0/drives/<document-library-id>/root:/data/finance:/children.获得感兴趣的 ID 列表后，您可以使用以下参数实例化加载程序。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", object_ids=["ID_1", "ID_2"], auth_with_token=True)
documents = loader.load()

API 参考：SharePointLoader

📑 选择支持的文件类型和首选解析器

默认情况下SharePointLoader加载中定义的文件类型document_loaders/parsers/registry使用默认解析器（见下文）。

def _get_default_parser() -> BaseBlobParser:
    """Get default mime-type based parser."""
    return MimeTypeBasedParser(
        handlers={
            "application/pdf": PyMuPDFParser(),
            "text/plain": TextParser(),
            "application/msword": MsWordParser(),
            "application/vnd.openxmlformats-officedocument.wordprocessingml.document": (
                MsWordParser()
            ),
        },
        fallback_parser=None,
    )

您可以通过将handlersargument 设置为SharePointLoader. 传递一个字典，映射文件扩展名（如"doc","pdf"等）或 MIME 类型（如"application/pdf","text/plain"等）到解析器。请注意，您必须以独占方式使用文件扩展名或 MIME 类型，并且不能混合它们。

不要包含文件扩展名的前导点。

# using file extensions:
handlers = {
    "doc": MsWordParser(),
    "pdf": PDFMinerParser(),
    "mp3": OpenAIWhisperParser()
}

# using MIME types:
handlers = {
    "application/msword": MsWordParser(),
    "application/pdf": PDFMinerParser(),
    "audio/mpeg": OpenAIWhisperParser()
}

loader = SharePointLoader(document_library_id="...",
                            handlers=handlers # pass handlers to SharePointLoader
                            )

如果多个文件扩展名映射到同一 MIME 类型，则最后一个词典项将应用。例：

# 'jpg' and 'jpeg' both map to 'image/jpeg' MIME type. SecondParser() will be used 
# to parse all jpg/jpeg files.
handlers = {
    "jpg": FirstParser(),
    "jpeg": SecondParser()
}

Document loader 概念指南
Document loader 操作指南

先决条件

🧑 从 SharePoint 文档库摄取文档的说明

🔑 认证

🗂️ 文档加载器

📑 从文档库目录加载文档

📑 从文档 ID 列表加载文档

📑 选择支持的文件类型和首选解析器

相关