Google Bigtable
Bigtable 是一个键值对和宽列存储，适用于快速访问结构化、半结构化或非结构化数据。利用 Bigtable 的 Langchain 集成扩展您的数据库应用程序，构建 AI 动力化的体验。
这个笔记本介绍了如何使用Bigtable通过BigtableLoader和BigtableSaver来保存、加载和删除langchain文档。
Learn more about the package on GitHub.
开始之前
要运行此笔记本，您需要执行以下操作：
在确认此笔记本运行环境中的数据库访问后，请填写以下值并运行该单元格，然后运行示例脚本。
# @markdown Please specify an instance and a table for demo purpose.
INSTANCE_ID = "my_instance" # @param {type:"string"}
TABLE_ID = "my_table" # @param {type:"string"}
🦜🔗 库安装
The integration lives in its own langchain-google-bigtable package, so we need to install it.
%pip install -upgrade --quiet langchain-google-bigtable
仅限 Colab：取消以下单元格的注释以重启内核，或使用按钮重启内核。对于 Vertex AI Workbench，您可以使用顶部的按钮重启终端。
# # Automatically restart kernel after installs so that your environment can access the new packages
# import IPython
# app = IPython.Application.instance()
# app.kernel.do_shutdown(True)
☁ 设置您的Google云项目
设置您的Google Cloud项目，以便在此笔记本中利用Google Cloud资源。
如果您不知道您的项目ID，请尝试以下方法:
- 运行
gcloud config list。 - 运行
gcloud projects list。 - 见支持页面：查找项目ID。
# @markdown Please fill in the value below with your Google Cloud project ID and then run the cell.
PROJECT_ID = "my-project-id" # @param {type:"string"}
# Set the project id
!gcloud config set project {PROJECT_ID}
🔐 认证
请以笔记本中已登录的IAM用户身份向Google Cloud进行认证，以便访问您的Google Cloud项目。
- 如果您在Colab中运行此笔记本，请使用下方单元格继续。
- 如果您正在使用Vertex AI工作区，请参阅设置说明这里。
from google.colab import auth
auth.authenticate_user()
基本用法
使用保存器
使用BigtableSaver.add_documents(<documents>)保存langchain文档。为了初始化BigtableSaver类，您需要提供2个东西：
instance_id- 一个Bigtable实例。table_id- 在Bigtable中存储langchain文档的表名称。
from langchain_core.documents import Document
from langchain_google_bigtable import BigtableSaver
test_docs = [
Document(
page_content="Apple Granny Smith 150 0.99 1",
metadata={"fruit_id": 1},
),
Document(
page_content="Banana Cavendish 200 0.59 0",
metadata={"fruit_id": 2},
),
Document(
page_content="Orange Navel 80 1.29 1",
metadata={"fruit_id": 3},
),
]
saver = BigtableSaver(
instance_id=INSTANCE_ID,
table_id=TABLE_ID,
)
saver.add_documents(test_docs)
查询Bigtable中的文档
要了解有关连接到Bigtable表的详细信息，请参阅Python SDK文档。
载入表格中的文档
使用 BigtableLoader.load() 或 BigtableLoader.lazy_load() 加载 langchain 文档。lazy_load 返回一个生成器，在迭代过程中仅在查询数据库时进行查询。要初始化 BigtableLoader 类，您需要提供：
instance_id- 一个Bigtable实例。table_id- 在Bigtable中存储langchain文档的表名称。
from langchain_google_bigtable import BigtableLoader
loader = BigtableLoader(
instance_id=INSTANCE_ID,
table_id=TABLE_ID,
)
for doc in loader.lazy_load():
print(doc)
break
删除文档
使用BigtableSaver.delete(<documents>)从Bigtable表中删除langchain文档列表。
from langchain_google_bigtable import BigtableSaver
docs = loader.load()
print("Documents before delete: ", docs)
onedoc = test_docs[0]
saver.delete([onedoc])
print("Documents after delete: ", loader.load())
高级用法
限制返回的行数
有以下两种方式限制返回的行数：
import google.cloud.bigtable.row_filters as row_filters
filter_loader = BigtableLoader(
INSTANCE_ID, TABLE_ID, filter=row_filters.ColumnQualifierRegexFilter(b"os_build")
)
from google.cloud.bigtable.row_set import RowSet
row_set = RowSet()
row_set.add_row_range_from_keys(
start_key="phone#4c410523#20190501", end_key="phone#4c410523#201906201"
)
row_set_loader = BigtableLoader(
INSTANCE_ID,
TABLE_ID,
row_set=row_set,
)
自定义客户端
The client created by default is the default client, using only admin=True option. To use a non-default, a custom client can be passed to the constructor.
from google.cloud import bigtable
custom_client_loader = BigtableLoader(
INSTANCE_ID,
TABLE_ID,
client=bigtable.Client(...),
)
自定义内容
TheBigtableLoader假设存在一个名为langchain的列族，该列族中有一个名为content的列，其中包含以UTF-8编码的价值。这些默认值可以像这样更改：
from langchain_google_bigtable import Encoding
custom_content_loader = BigtableLoader(
INSTANCE_ID,
TABLE_ID,
content_encoding=Encoding.ASCII,
content_column_family="my_content_family",
content_column_name="my_content_column_name",
)
元数据映射
默认情况下，metadata对象上的Document映射将包含一个单一的键rowkey，其值为行的rowkey值。要向该映射中添加更多项，请使用metadata_mapping。
import json
from langchain_google_bigtable import MetadataMapping
metadata_mapping_loader = BigtableLoader(
INSTANCE_ID,
TABLE_ID,
metadata_mappings=[
MetadataMapping(
column_family="my_int_family",
column_name="my_int_column",
metadata_key="key_in_metadata_map",
encoding=Encoding.INT_BIG_ENDIAN,
),
MetadataMapping(
column_family="my_custom_family",
column_name="my_custom_column",
metadata_key="custom_key",
encoding=Encoding.CUSTOM,
custom_decoding_func=lambda input: json.loads(input.decode()),
custom_encoding_func=lambda input: str.encode(json.dumps(input)),
),
],
)
元数据为 JSON
如果Bigtable中的某列包含一个JSON字符串，并且您希望将该列添加到输出文档元数据中，那么可以向BigtableLoader添加以下参数。注意，默认值为metadata_as_json_encoding，表示UTF-8。
metadata_as_json_loader = BigtableLoader(
INSTANCE_ID,
TABLE_ID,
metadata_as_json_encoding=Encoding.ASCII,
metadata_as_json_family="my_metadata_as_json_family",
metadata_as_json_name="my_metadata_as_json_column_name",
)
定制BigtableSaver
TheBigtableSaver也是可自定义的，类似于BigtableLoader。
saver = BigtableSaver(
INSTANCE_ID,
TABLE_ID,
client=bigtable.Client(...),
content_encoding=Encoding.ASCII,
content_column_family="my_content_family",
content_column_name="my_content_column_name",
metadata_mappings=[
MetadataMapping(
column_family="my_int_family",
column_name="my_int_column",
metadata_key="key_in_metadata_map",
encoding=Encoding.INT_BIG_ENDIAN,
),
MetadataMapping(
column_family="my_custom_family",
column_name="my_custom_column",
metadata_key="custom_key",
encoding=Encoding.CUSTOM,
custom_decoding_func=lambda input: json.loads(input.decode()),
custom_encoding_func=lambda input: str.encode(json.dumps(input)),
),
],
metadata_as_json_encoding=Encoding.ASCII,
metadata_as_json_family="my_metadata_as_json_family",
metadata_as_json_name="my_metadata_as_json_column_name",
)