ChatBedrock

这文档将帮助您入门 AWS Bedrock 聊天模型。Amazon Bedrock 是一个完全托管的服务，提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先AI公司的高性能基础模型（FMs），通过单一API提供，并附带构建生成式AI应用程序所需的一整套功能，包括安全、隐私和负责任的人工智能。使用Amazon Bedrock，您可以轻松地针对您的用例实验并评估顶级FMs，利用微调和检索增强生成（RAG）等技术以私有方式对它们进行定制，并构建执行任务的代理，这些任务可以使用您企业的系统和数据源进行操作。由于 Amazon Bedrock 是无服务器的，因此无需管理任何基础设施，在熟悉AWS服务的同时，您可以安全地将生成式AI功能集成到您的应用程序中。

AWS Bedrock 维护一个 Converse API，提供了一个统一的对话接口用于Bedrock模型。该API目前还不支持自定义模型。您可以在这里查看所有受支持的模型列表。

信息

我们推荐不需要使用自定义模型的用户使用 Converse API。可以通过 ChatBedrockConverse 进行访问。

详细说明所有Bedrock功能和配置的文档，请参阅API参考。

概览

集成细节

Class	包	本地	序列化	JS支持	Package downloads	Package 最新版本
ChatBedrock	langchain-aws	❌	beta	✅
ChatBedrockConverse	langchain-aws	❌	beta	✅

模型特性

The below apply to both ChatBedrock and ChatBedrockConverse.

工具调用	结构化输出	JSON 模式	图像输入	音频输入	视频输入	Token级流式传输	原生异步	Token 使用	对数概率
✅	✅	❌	✅	❌	❌	✅	❌	✅	❌

设置

要访问Bedrock模型，您需要创建一个AWS账户，设置Bedrock API服务，获取访问密钥ID和秘密密钥，并安装langchain-aws集成包。

Credentials

前往AWS 文档注册 AWS 并设置您的凭据。您还需要为您的账户启用模型访问权限，您可以按照这些说明进行操作。

要启用对您的模型调用的自动跟踪，请设置您的LangSmith API密钥：

# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"

安装

The LangChain Bedrock集成位于langchain-aws包中:

%pip install -qU langchain-aws

Instantiation

现在我们就可以实例化我们的模型对象并生成聊天完成内容:

from langchain_aws import ChatBedrockConverse

llm = ChatBedrockConverse(
    model_id="anthropic.claude-3-5-sonnet-20240620-v1:0",
    # temperature=...,
    # max_tokens=...,
    # other params...
)

API 参考:ChatBedrockConverse

Invocation

messages = [
    (
        "system",
        "You are a helpful assistant that translates English to French. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]
ai_msg = llm.invoke(messages)
ai_msg

AIMessage(content="J'adore la programmation.", additional_kwargs={}, response_metadata={'ResponseMetadata': {'RequestId': 'b07d1630-06f2-44b1-82bf-e82538dd2215', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Wed, 16 Apr 2025 19:35:34 GMT', 'content-type': 'application/json', 'content-length': '206', 'connection': 'keep-alive', 'x-amzn-requestid': 'b07d1630-06f2-44b1-82bf-e82538dd2215'}, 'RetryAttempts': 0}, 'stopReason': 'end_turn', 'metrics': {'latencyMs': [488]}, 'model_name': 'anthropic.claude-3-5-sonnet-20240620-v1:0'}, id='run-d09ed928-146a-4336-b1fd-b63c9e623494-0', usage_metadata={'input_tokens': 29, 'output_tokens': 11, 'total_tokens': 40, 'input_token_details': {'cache_creation': 0, 'cache_read': 0}})

print(ai_msg.content)

J'adore la programmation.

流式传输

注意，ChatBedrockConverse 在流式传输时会发出内容块：

for chunk in llm.stream(messages):
    print(chunk)

content=[] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[{'type': 'text', 'text': 'J', 'index': 0}] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[{'type': 'text', 'text': "'adore la", 'index': 0}] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[{'type': 'text', 'text': ' programmation.', 'index': 0}] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[{'index': 0}] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[] additional_kwargs={} response_metadata={'stopReason': 'end_turn'} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[] additional_kwargs={} response_metadata={'metrics': {'latencyMs': 600}, 'model_name': 'anthropic.claude-3-5-sonnet-20240620-v1:0'} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd' usage_metadata={'input_tokens': 29, 'output_tokens': 11, 'total_tokens': 40, 'input_token_details': {'cache_creation': 0, 'cache_read': 0}}

您可以使用输出的.text()方法来过滤文本： .text()

for chunk in llm.stream(messages):
    print(chunk.text(), end="|")

|J|'adore la| programmation.||||

Prompt caching

Bedrock 支持缓存您提示中的元素，包括消息和工具。这允许您重用大型文档、指令、少量示例文档和其他数据以减少延迟和成本。

注意

并非所有模型都支持提示缓存。请参阅受支持的模型这里.

要启用提示元素的缓存，请使用cachePoint键标记其关联的内容块。请参见下面的示例：

import requests
from langchain_aws import ChatBedrockConverse

llm = ChatBedrockConverse(model="us.anthropic.claude-3-7-sonnet-20250219-v1:0")

# Pull LangChain readme
get_response = requests.get(
    "https://raw.githubusercontent.com/langchain-ai/langchain/master/README.md"
)
readme = get_response.text

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "What's LangChain, according to its README?",
            },
            {
                "type": "text",
                "text": f"{readme}",
            },
            {
                "cachePoint": {"type": "default"},
            },
        ],
    },
]

response_1 = llm.invoke(messages)
response_2 = llm.invoke(messages)

usage_1 = response_1.usage_metadata["input_token_details"]
usage_2 = response_2.usage_metadata["input_token_details"]

print(f"First invocation:\n{usage_1}")
print(f"\nSecond:\n{usage_2}")

API 参考:ChatBedrockConverse

First invocation:
{'cache_creation': 1528, 'cache_read': 0}

Second:
{'cache_creation': 0, 'cache_read': 1528}

链式调用

我们可以通过以下方式将模型与提示模板进行链接：

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant that translates {input_language} to {output_language}.",
        ),
        ("human", "{input}"),
    ]
)

chain = prompt | llm
chain.invoke(
    {
        "input_language": "English",
        "output_language": "German",
        "input": "I love programming.",
    }
)

API 参考:ChatPromptTemplate

AIMessage(content="Here's the German translation:\n\nIch liebe das Programmieren.", additional_kwargs={}, response_metadata={'ResponseMetadata': {'RequestId': '1de3d7c0-8062-4f7e-bb8a-8f725b97a8b0', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Wed, 16 Apr 2025 19:32:51 GMT', 'content-type': 'application/json', 'content-length': '243', 'connection': 'keep-alive', 'x-amzn-requestid': '1de3d7c0-8062-4f7e-bb8a-8f725b97a8b0'}, 'RetryAttempts': 0}, 'stopReason': 'end_turn', 'metrics': {'latencyMs': [719]}, 'model_name': 'anthropic.claude-3-5-sonnet-20240620-v1:0'}, id='run-7021fcd7-704e-496b-a92e-210139614402-0', usage_metadata={'input_tokens': 23, 'output_tokens': 19, 'total_tokens': 42, 'input_token_details': {'cache_creation': 0, 'cache_read': 0}})

API 参考

详细文档请参阅所有ChatBedrock功能和配置: https://python.langchain.com/api_reference/aws/chat_models/langchain_aws.chat_models.bedrock.ChatBedrock.html

详细描述所有ChatBedrockConverse功能和配置的文档请参阅API参考：https://python.langchain.com/api_reference/aws/chat_models/langchain_aws.chat_models.bedrock_converse.ChatBedrockConverse.html

聊天模型概念指南
聊天模型使用指南

概览​

集成细节​

模型特性​

设置​

Credentials​

安装​

Instantiation​

Invocation​

流式传输​

Prompt caching​

链式调用​

API 参考​

相关​

概览