FireCrawl

FireCrawl 可以抓取任何网站并将其转换为 LLM 就绪数据。 它会抓取所有可访问的子页面，并为您提供干净的 markdown 以及每个的元数据。无需站点地图。

安装和设置

安装 python SDK：

pip install firecrawl-py==0.0.20

文档加载器

请参阅使用示例。

from langchain_community.document_loaders import FireCrawlLoader

API 参考：FireCrawlLoader