Skip to main content
Open In Colab在 GitHub 上打开

Airbyte JSON（已弃用）

注意：AirbyteJSONLoader已弃用。请使用AirbyteLoader相反。

Airbyte是一个用于ELT管道的数据集成平台，从API、数据库和文件到仓库和湖泊。它拥有最大的数据仓库和数据库 ELT 连接器目录。

这涵盖了如何将 Airbyte 中的任何源加载到可以作为文档读入的本地 JSON 文件中

先决条件： 已安装 docker 桌面

步骤：

  1. 从 GitHub 克隆 Airbyte -git clone https://github.com/airbytehq/airbyte.git

  2. 切换到 Airbyte 目录 -cd airbyte

  3. 启动 Airbyte -docker compose up

  4. 在浏览器中，只需访问 http://localhost:8000。您将被要求提供用户名和密码。默认情况下，这是 usernameairbyte和密码password.

  5. 设置您想要的任何来源。

  6. 将 destination 设置为 Local JSON，并指定 destination path - 比如说/json_data.设置手动同步。

  7. 运行连接。

  8. 要查看创建的文件，您可以导航到：file:///tmp/airbyte_local

  9. 查找您的数据和复制路径。该路径应保存在下面的 file 变量中。它应该以/tmp/airbyte_local

from langchain_community.document_loaders import AirbyteJSONLoader
API 参考：AirbyteJSONLoader
!ls /tmp/airbyte_local/json_data/
_airbyte_raw_pokemon.jsonl
loader = AirbyteJSONLoader("/tmp/airbyte_local/json_data/_airbyte_raw_pokemon.jsonl")
data = loader.load()
print(data[0].page_content[:500])
abilities: 
ability: 
name: blaze
url: https://pokeapi.co/api/v2/ability/66/

is_hidden: False
slot: 1


ability: 
name: solar-power
url: https://pokeapi.co/api/v2/ability/94/

is_hidden: True
slot: 3

base_experience: 267
forms: 
name: charizard
url: https://pokeapi.co/api/v2/pokemon-form/6/

game_indices: 
game_index: 180
version: 
name: red
url: https://pokeapi.co/api/v2/version/1/



game_index: 180
version: 
name: blue
url: https://pokeapi.co/api/v2/version/2/



game_index: 180
version: 
n