FireCrawl
FireCrawl 爬取并转换任何网站为 LLM 就绪的数据。 它爬取所有可访问的子页面,并为每个页面提供干净的 Markdown 和元数据。无需站点地图。
安装与设置¶
安装 Python SDK:
pip install firecrawl-py==0.0.20
文档加载器¶
查看 使用示例。
from langchain_community.document_loaders import FireCrawlLoader
API 参考:FireCrawlLoader
FireCrawl 爬取并转换任何网站为 LLM 就绪的数据。 它爬取所有可访问的子页面,并为每个页面提供干净的 Markdown 和元数据。无需站点地图。
安装 Python SDK:
pip install firecrawl-py==0.0.20
查看 使用示例。
from langchain_community.document_loaders import FireCrawlLoader