Skip to main content
Open In Colab在 GitHub 上打开

lakeFS

lakeFS 提供对数据湖的可扩展版本控制,并使用类似 Git 的语义来创建和访问这些版本。

此笔记本介绍如何从lakeFSpath (无论是对象还是前缀)。

初始化 lakeFS 加载程序

取代ENDPOINT,LAKEFS_ACCESS_KEYLAKEFS_SECRET_KEY值替换为您自己的值。

from langchain_community.document_loaders import LakeFSLoader
API 参考:LakeFSLoader
ENDPOINT = ""
LAKEFS_ACCESS_KEY = ""
LAKEFS_SECRET_KEY = ""

lakefs_loader = LakeFSLoader(
lakefs_access_key=LAKEFS_ACCESS_KEY,
lakefs_secret_key=LAKEFS_SECRET_KEY,
lakefs_endpoint=ENDPOINT,
)

指定路径

您可以指定前缀或完整的对象路径来控制要加载的文件。

在相应的REPO,REFPATH要从以下位置加载文档:

REPO = ""
REF = ""
PATH = ""

lakefs_loader.set_repo(REPO)
lakefs_loader.set_ref(REF)
lakefs_loader.set_path(PATH)

docs = lakefs_loader.load()
docs