Skip to main content

云架构和可扩展性

云托管解决方案

本节仅与 https://smith.langchain.comhttps://eu.smith.langchain.com 上提供的云托管 LangSmith 服务相关。

有关自托管 LangSmith 解决方案的信息,请参阅自托管文档

LangSmith 部署在 Google Cloud Platform (GCP) 上,旨在实现高度可扩展性。许多客户在 LangSmith 上运行生产工作负载,以实现 LLM 应用程序的可观察性和评估。

架构

位于美国的 LangSmith 服务部署在us-central1(爱荷华州) GCP 区域。

注意:总部位于欧盟的 LangSmith 服务现已推出(截至 2024 年 7 月中旬),并部署在europe-west4(荷兰) 区域。 如果您对该地区的企业计划感兴趣,请通过 sales@langchain.dev 联系我们。

区域存储

此表中的资源和服务存储在与发生注册的 URL 对应的位置(美国或欧盟)。 云管理的 LangSmith 使用 Supabase 进行身份验证/授权,使用 ClickHouse Cloud 进行数据仓库。

我们欧盟
URLhttps://smith.langchain.comhttps://eu.smith.langchain.com
API URLhttps://api.smith.langchain.comhttps://eu.api.smith.langchain.com
GCPus-central1 (Iowa)europe-west4 (Netherlands)
SupabaseAWS us-east-1 (N. Virginia)AWS eu-central-1 (Germany)
ClickHouse Cloudus-central1 (Iowa)europe-west4 (Netherlands)
LangGraph Cloudus-central1 (Iowa)europe-west4 (Netherlands)

有关更多信息,请参阅区域常见问题

不受区域限制的存储

此处列出的数据仅存储在美国:

  • 使用 Stripe 和 Metronome 的付款和账单信息

GCP 服务

LangSmith 由以下服务组成,全部部署在 Google Kubernetes Engine (GKE) 上:

  • LangSmith 前端:为 LangSmith UI 提供服务。
  • LangSmith 后端:提供 LangSmith API。
  • LangSmith Platform Backend:处理身份验证和其他高容量任务。(内部服务)
  • LangSmith Playground:处理将 Playground 功能转发到各种 LLM 提供商的请求。
  • LangSmith Queue:处理异步任务。(内部服务)

LangSmith 使用以下 GCP 存储服务:

  • 用于运行输入和输出的 Google Cloud Storage (GCS)。
  • 适用于事务性工作负载的 Google Cloud SQL PostgreSQL。
  • 用于排队和缓存的 Google Cloud Memorystore for Redis。
  • Clickhouse Cloud on GCP 用于跟踪摄取和分析。我们的服务通过私有端点连接到托管在同一 GCP 区域的 Clickhouse Cloud。

我们使用的一些其他 GCP 服务包括:

  • Google Cloud Load Balancer,用于将流量路由到 LangSmith 服务。
  • 用于缓存静态资产的 Google Cloud CDN。
  • 用于安全性和速率限制的 Google Cloud Armor。有关我们实施的速率限制的更多信息,请参阅本指南

将 IP 地址列入白名单

离开 LangSmith 服务的所有流量都将通过 NAT 网关进行路由。所有流量将显示为来自以下 IP 地址:

我们欧盟
34.59.65.9734.13.192.67
34.67.51.22134.147.105.64
34.46.212.3734.90.22.166
34.132.150.8834.147.36.213
35.188.222.20134.32.137.113
34.58.194.12734.91.238.184
34.59.97.17335.204.101.241
104.198.162.5535.204.48.32

如果连接到你自己的 AzureOpenAI 服务或 Playground 或 Online Evaluation 可能需要的其他终结点,将这些 IP 地址列入白名单可能会有所帮助。


这个页面有帮助吗?


您可以在 GitHub 上留下详细的反馈。