Skip to main content
Open In ColabOpen on GitHub

Google Memorystore for Redis

Google Memorystore for Redis 是一个由 Redis 内存数据存储驱动的完全托管服务，用于构建提供亚毫秒级数据访问的应用程序缓存。利用 Memorystore for Redis 的 Langchain 集成扩展您的数据库应用以构建 AI 动力化的体验。

该笔记本介绍了如何使用 Memorystore for Redis 与 MemorystoreVectorStore 类一起存储向量嵌入。

Learn more about the package on GitHub.

Open In Colab

Pre-reqs​

开始之前​

要运行此笔记本，您需要执行以下操作：

🦜🔗 库安装​

The integration lives in its own langchain-google-memorystore-redis package, so we need to install it.

%pip install -upgrade --quiet langchain-google-memorystore-redis langchain

仅限 Colab：取消以下单元格的注释以重启内核，或使用按钮重启内核。对于 Vertex AI Workbench，您可以使用顶部的按钮重启终端。

# # Automatically restart kernel after installs so that your environment can access the new packages
# import IPython

# app = IPython.Application.instance()
# app.kernel.do_shutdown(True)

☁ 设置您的Google云项目​

设置您的Google Cloud项目，以便在此笔记本中利用Google Cloud资源。

如果您不知道您的项目ID，请尝试以下方法:

  • 运行 gcloud config list。
  • 运行 gcloud projects list。
  • 见支持页面：查找项目ID。
# @markdown Please fill in the value below with your Google Cloud project ID and then run the cell.

PROJECT_ID = "my-project-id"  # @param {type:"string"}

# Set the project id
!gcloud config set project {PROJECT_ID}

🔐 认证​

请以笔记本中已登录的IAM用户身份向Google Cloud进行认证，以便访问您的Google Cloud项目。

  • 如果您在Colab中运行此笔记本，请使用下方单元格继续。
  • 如果您正在使用Vertex AI工作区，请参阅设置说明这里。
from google.colab import auth

auth.authenticate_user()

基本用法​

初始化向量索引​

import redis
from langchain_google_memorystore_redis import (
    DistanceStrategy,
    HNSWConfig,
    RedisVectorStore,
)

# Connect to a Memorystore for Redis instance
redis_client = redis.from_url("redis://127.0.0.1:6379")

# Configure HNSW index with descriptive parameters
index_config = HNSWConfig(
    name="my_vector_index", distance_strategy=DistanceStrategy.COSINE, vector_size=128
)

# Initialize/create the vector store index
RedisVectorStore.init_index(client=redis_client, index_config=index_config)

准备文档​

文本在与向量存储交互之前需要进行处理和数值化表示。这包括：

  • 加载文本：TextLoader 从文件中获取文本数据（例如，\"state_of_the_union.txt\"）。
  • 文本分割：CharacterTextSplitter 将文本分割成更小的块，以便用于嵌入模型。
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("./state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

将文档添加到向量存储​

文本准备和嵌入生成后，以下方法会将其插入到 Redis 向量存储中。

方法1：用于直接插入的类方法​

此方法通过使用 from_documents 类方法，将嵌入创建和插入合并为一个步骤：

from langchain_community.embeddings.fake import FakeEmbeddings

embeddings = FakeEmbeddings(size=128)
redis_client = redis.from_url("redis://127.0.0.1:6379")
rvs = RedisVectorStore.from_documents(
    docs, embedding=embeddings, client=redis_client, index_name="my_vector_index"
)
API 参考:虚拟嵌入

方法2：基于实例的插入​

在使用新的或现有的 RedisVectorStore 时，这种方法提供了灵活性：

  • [可选] 创建一个 RedisVectorStore 实例：实例化一个 RedisVectorStore 对象以进行自定义。如果您已有实例，请继续下一步。
  • 添加带元数据的文本：向实例提供原始文本和元数据。嵌入生成及插入到向量存储中的过程将自动处理。
rvs = RedisVectorStore(
    client=redis_client, index_name="my_vector_index", embeddings=embeddings
)
ids = rvs.add_texts(
    texts=[d.page_content for d in docs], metadatas=[d.metadata for d in docs]
)

执行相似性搜索 (KNN)​

向量存储填充后，就可以搜索与查询语义相似的文本。以下是使用默认设置的KNN（K-近邻）的方法：

  • 形成查询：自然语言问题表达搜索意图（例如，“总统对凯坦吉·布朗·杰克逊说了什么”）。
  • 检索相似结果：similarity_search 方法可找到向量存储中在含义上最接近查询的项目。
import pprint

query = "What did the president say about Ketanji Brown Jackson"
knn_results = rvs.similarity_search(query=query)
pprint.pprint(knn_results)

范围查询通过指定期望的相似度阈值以及查询文本，提供了更精确的控制：

  • 制定查询：自然语言问题定义了搜索意图。
  • 设置相似度阈值：distance_threshold 参数决定匹配项必须多么接近才能被视为相关。
  • 检索结果： similarity_search_with_score 方法用于从向量存储中查找符合指定相似性阈值的项目。
rq_results = rvs.similarity_search_with_score(query=query, distance_threshold=0.8)
pprint.pprint(rq_results)

MMR 查询旨在找到既与查询相关又彼此多样化的结果，从而减少搜索结果中的冗余。

  • 制定查询：自然语言问题定义了搜索意图。
  • 平衡相关性和多样性：lambda_mult 参数用于控制结果中严格相关性与多样性的权衡。
  • 检索MMR结果：max_marginal_relevance_search 方法返回根据lambda设置优化相关性和多样性组合的项目。
mmr_results = rvs.max_marginal_relevance_search(query=query, lambda_mult=0.90)
pprint.pprint(mmr_results)

使用向量存储作为检索器​

为了与其他 LangChain 组件实现无缝集成，可以将向量存储转换为检索器。这提供了以下几个优势：

  • LangChain 兼容性：许多 LangChain 工具和方法旨在直接与检索器交互。
  • 使用简便：将as_retriever()方法用于将向量存储转换为简化查询的格式。
retriever = rvs.as_retriever()
results = retriever.invoke(query)
pprint.pprint(results)

清理​

从向量存储中删除文档​

偶尔需要从向量存储中删除文档（及其关联的向量）。delete 方法提供了此功能。

rvs.delete(ids)

删除一个向量索引​

可能需要删除现有向量索引的情况包括：

  • 索引配置更改：如果需要修改索引参数，通常需要删除并重新创建索引。
  • 存储管理：删除未使用的索引可以帮助释放 Redis 实例中的空间。

警告：向量索引删除是一项不可逆的操作。在继续之前，请务必确认不再需要存储的向量和搜索功能。

# Delete the vector index
RedisVectorStore.drop_index(client=redis_client, index_name="my_vector_index")