Skip to main content
Open In Colab在 GitHub 上打开

适用于 Redis 的 Google Memorystore

Google Memorystore for Redis 是一项完全托管的服务，由 Redis 内存数据存储提供支持，用于构建提供亚毫秒级数据访问的应用程序缓存。扩展您的数据库应用程序，以利用 Memorystore for Redis 的 Langchain 集成构建 AI 驱动的体验。

本笔记本介绍了如何使用 Memorystore for Redis 来保存、加载和删除 langchain 文档MemorystoreDocumentLoader和MemorystoreDocumentSaver.

在 GitHub 上了解有关该软件包的更多信息。

Open In Colab

准备工作

要运行此笔记本，您需要执行以下作：

在此笔记本的运行时环境中确认对数据库的访问后，填写以下值并在运行示例脚本之前运行单元格。

# @markdown Please specify an endpoint associated with the instance and a key prefix for demo purpose.
ENDPOINT = "redis://127.0.0.1:6379"  # @param {type:"string"}
KEY_PREFIX = "doc:"  # @param {type:"string"}

🦜🔗 库安装

集成存在于自己的langchain-google-memorystore-redis包中，因此我们需要安装它。

%pip install -upgrade --quiet langchain-google-memorystore-redis

仅限 Colab：取消注释以下单元格以重新启动内核，或使用按钮重新启动内核。对于 Vertex AI Workbench，您可以使用顶部的按钮重新启动终端。

# # Automatically restart kernel after installs so that your environment can access the new packages
# import IPython

# app = IPython.Application.instance()
# app.kernel.do_shutdown(True)

☁ 设置您的 Google Cloud 项目

设置您的 Google Cloud 项目，以便您可以利用此笔记本中的 Google Cloud 资源。

如果您不知道自己的项目 ID，请尝试以下作：

  • 跑gcloud config list.
  • 跑gcloud projects list.
  • 请参阅支持页面：查找项目 ID。
# @markdown Please fill in the value below with your Google Cloud project ID and then run the cell.

PROJECT_ID = "my-project-id"  # @param {type:"string"}

# Set the project id
!gcloud config set project {PROJECT_ID}

🔐 认证

以登录此笔记本的 IAM 用户身份向 Google Cloud 进行身份验证，以便访问您的 Google Cloud 项目。

  • 如果您使用 Colab 运行此笔记本，请使用下面的单元格并继续。
  • 如果您使用的是 Vertex AI Workbench，请在此处查看设置说明。
from google.colab import auth

auth.authenticate_user()

基本用法

保存文档

保存 langchain 文档MemorystoreDocumentSaver.add_documents(<documents>).初始化MemorystoreDocumentSaverclass 你需要提供 2 件事：

  1. client-一个redis.Redisclient 对象。
  2. key_prefix- 用于在 Redis 中存储文档的键的前缀。

Documents 将存储在随机生成的键中，并带有指定的前缀key_prefix.或者，您可以通过指定ids在add_documents方法。

import redis
from langchain_core.documents import Document
from langchain_google_memorystore_redis import MemorystoreDocumentSaver

test_docs = [
    Document(
        page_content="Apple Granny Smith 150 0.99 1",
        metadata={"fruit_id": 1},
    ),
    Document(
        page_content="Banana Cavendish 200 0.59 0",
        metadata={"fruit_id": 2},
    ),
    Document(
        page_content="Orange Navel 80 1.29 1",
        metadata={"fruit_id": 3},
    ),
]
doc_ids = [f"{i}" for i in range(len(test_docs))]

redis_client = redis.from_url(ENDPOINT)
saver = MemorystoreDocumentSaver(
    client=redis_client,
    key_prefix=KEY_PREFIX,
    content_field="page_content",
)
saver.add_documents(test_docs, ids=doc_ids)
API 参考：文档

加载文档

初始化一个加载程序，该加载程序加载存储在 Memorystore for Redis 实例中的所有文档，并具有特定前缀。

加载 langchain 文档MemorystoreDocumentLoader.load()或MemorystoreDocumentLoader.lazy_load().lazy_load返回一个生成器，该生成器在迭代期间仅查询 database。初始化MemorystoreDocumentLoader类：

  1. client-一个redis.Redisclient 对象。
  2. key_prefix- 用于在 Redis 中存储文档的键的前缀。
import redis
from langchain_google_memorystore_redis import MemorystoreDocumentLoader

redis_client = redis.from_url(ENDPOINT)
loader = MemorystoreDocumentLoader(
    client=redis_client,
    key_prefix=KEY_PREFIX,
    content_fields=set(["page_content"]),
)
for doc in loader.lazy_load():
    print("Loaded documents:", doc)

删除文档

删除 Memorystore for Redis 实例中具有指定前缀的所有键MemorystoreDocumentSaver.delete().如果您知道，还可以指定键的后缀。

docs = loader.load()
print("Documents before delete:", docs)

saver.delete(ids=[0])
print("Documents after delete:", loader.load())

saver.delete()
print("Documents after delete all:", loader.load())

高级用法

自定义文档页面内容和元数据

当初始化具有多个内容字段的 loader 时，page_content的 Documents 将包含一个 JSON 编码的字符串，其中顶级字段等于content_fields.

如果metadata_fields指定，则metadata字段将仅包含等于指定metadata_fields.如果元数据字段的任何值存储为 JSON 编码的字符串，则在将其加载到元数据字段之前，将对其进行解码。

loader = MemorystoreDocumentLoader(
    client=redis_client,
    key_prefix=KEY_PREFIX,
    content_fields=set(["content_field_1", "content_field_2"]),
    metadata_fields=set(["title", "author"]),
)