Skip to main content

云架构与可扩展性

云管理解决方案

本部分仅适用于在 https://smith.langchain.comhttps://eu.smith.langchain.com 提供的云托管 LangSmith 服务。

有关自托管 LangSmith 解决方案的信息,请参阅 自托管文档

LangSmith 部署在 Google Cloud Platform (GCP) 上,设计为高度可扩展。许多客户在 LangSmith 上运行生产工作负载,用于 LLM 应用程序的可观测性和评估。

架构

总部位于美国的 LangSmith 服务已部署在 GCP 的 us-central1(爱荷华州)区域。

注意:基于欧盟的 LangSmith 服务现已可用(截至2024年7月中旬),并已部署在GCP的europe-west4(荷兰)区域。 如果您对该区域的企业合作计划感兴趣,请通过sales@langchain.dev与我们联系。

区域存储

本表格中的资源和服务存储在注册时对应的 URL 位置(美国或欧盟)。 Cloud-managed LangSmith 使用 Supabase 进行身份验证/授权,并使用 ClickHouse Cloud 作为数据仓库。

USEU
URLhttps://smith.langchain.comhttps://eu.smith.langchain.com
API URLhttps://api.smith.langchain.comhttps://eu.api.smith.langchain.com
GCPus-central1 (Iowa)europe-west4 (Netherlands)
SupabaseAWS us-east-1 (N. Virginia)AWS eu-central-1 (Germany)
ClickHouse Cloudus-central1 (Iowa)europe-west4 (Netherlands)
LangGraph Cloudus-central1 (Iowa)europe-west4 (Netherlands)

有关更多信息,请参阅地区常见问题解答

区域无关存储

在此列出的数据仅存储于美国:

  • 使用 Stripe 和 Metronome 进行支付和账单信息

GCP 服务

LangSmith 由以下服务组成,所有服务均部署在 Google Kubernetes Engine (GKE) 上:

  • LangSmith 前端:提供 LangSmith UI。
  • LangSmith 后端:提供 LangSmith API。
  • LangSmith 平台后端:处理身份验证和其他高容量任务。(内部服务)
  • LangSmith Playground:处理将请求转发到各种 LLM 提供商以用于 Playground 功能。
  • LangSmith 队列:处理异步任务。(内部服务)

LangSmith 使用以下 GCP 存储服务:

  • Google Cloud Storage (GCS) 用于运行输入和输出。
  • Google Cloud SQL PostgreSQL,适用于事务性工作负载。
  • 用于排队和缓存的 Google Cloud Memorystore for Redis。
  • Clickhouse Cloud 在 GCP 上用于追踪数据摄入和分析。我们的服务通过专用端点连接到托管在同一 GCP 区域的 Clickhouse Cloud。

我们使用的其他 GCP 服务包括:

  • 用于将流量路由到 LangSmith 服务的 Google Cloud 负载均衡器。
  • Google Cloud CDN 用于缓存静态资源。
  • Google Cloud Armor 用于安全和速率限制。有关我们实施的速率限制的更多信息,请参阅 此指南

白名单 IP 地址

所有离开 LangSmith 服务的流量都将通过 NAT 网关路由。所有流量将显示为源自以下 IP 地址:

USEU
34.59.65.9734.13.192.67
34.67.51.22134.147.105.64
34.46.212.3734.90.22.166
34.132.150.8834.147.36.213
35.188.222.20134.32.137.113
34.58.194.12734.91.238.184
34.59.97.17335.204.101.241
104.198.162.5535.204.48.32

如果您要连接到自己的 AzureOpenAI 服务或 Playground 或在线评估可能需要的其他端点,将这些 IP 地址加入白名单可能会有所帮助。


此页面有帮助吗?


您可以留下详细的反馈 在 GitHub 上