Skip to main content
Open on GitHub

ScrapeGraph AI

ScrapeGraph AI是提供基于AI的网页抓取能力的服务。 它提供了提取结构化数据、将网页转换为markdown以及使用自然语言提示处理本地HTML内容的工具。

安装与设置

安装所需的包：

pip install langchain-scrapegraph

设置您的API密钥:

export SGAI_API_KEY="your-scrapegraph-api-key"

工具​

查看 使用示例。

有四个可用的工具：

from langchain_scrapegraph.tools import (
    SmartScraperTool,    # Extract structured data from websites
    MarkdownifyTool,     # Convert webpages to markdown
    LocalScraperTool,    # Process local HTML content
    GetCreditsTool,      # Check remaining API credits
)

每个工具都有其特定的功能：<br>

  • SmartScraperTool: 从给定的URL、提示和可选输出结构中提取网页中的结构化数据
  • MarkdownifyTool: 将任何网页转换为干净的Markdown格式
  • LocalScraperTool: 从本地HTML文件中提取结构化数据，给定提示和可选的输出模式
  • GetCreditsTool: 检查剩余的ScrapeGraph AIcredits