云架构和可扩展性
本节仅与 https://smith.langchain.com 和 https://eu.smith.langchain.com 上提供的云托管 LangSmith 服务相关。
有关自托管 LangSmith 解决方案的信息,请参阅自托管文档。
LangSmith 部署在 Google Cloud Platform (GCP) 上,旨在实现高度可扩展性。许多客户在 LangSmith 上运行生产工作负载,以实现 LLM 应用程序的可观察性和评估。
架构
位于美国的 LangSmith 服务部署在us-central1(爱荷华州) GCP 区域。
注意:总部位于欧盟的 LangSmith 服务现已推出(截至 2024 年 7 月中旬),并部署在europe-west4(荷兰) 区域。
如果您对该地区的企业计划感兴趣,请通过 sales@langchain.dev 联系我们。
区域存储
此表中的资源和服务存储在与发生注册的 URL 对应的位置(美国或欧盟)。 云管理的 LangSmith 使用 Supabase 进行身份验证/授权,使用 ClickHouse Cloud 进行数据仓库。
| 我们 | 欧盟 | |
|---|---|---|
| URL | https://smith.langchain.com | https://eu.smith.langchain.com |
| API URL | https://api.smith.langchain.com | https://eu.api.smith.langchain.com |
| GCP | us-central1 (Iowa) | europe-west4 (Netherlands) |
| Supabase | AWS us-east-1 (N. Virginia) | AWS eu-central-1 (Germany) |
| ClickHouse Cloud | us-central1 (Iowa) | europe-west4 (Netherlands) |
| LangGraph Cloud | us-central1 (Iowa) | europe-west4 (Netherlands) |
有关更多信息,请参阅区域常见问题。
不受区域限制的存储
此处列出的数据仅存储在美国:
- 使用 Stripe 和 Metronome 的付款和账单信息
GCP 服务
LangSmith 由以下服务组成,全部部署在 Google Kubernetes Engine (GKE) 上:
- LangSmith 前端:为 LangSmith UI 提供服务。
- LangSmith 后端:提供 LangSmith API。
- LangSmith Platform Backend:处理身份验证和其他高容量任务。(内部服务)
- LangSmith Playground:处理将 Playground 功能转发到各种 LLM 提供商的请求。
- LangSmith Queue:处理异步任务。(内部服务)
LangSmith 使用以下 GCP 存储服务:
- 用于运行输入和输出的 Google Cloud Storage (GCS)。
- 适用于事务性工作负载的 Google Cloud SQL PostgreSQL。
- 用于排队和缓存的 Google Cloud Memorystore for Redis。
- Clickhouse Cloud on GCP 用于跟踪摄取和分析。我们的服务通过私有端点连接到托管在同一 GCP 区域的 Clickhouse Cloud。
我们使用的一些其他 GCP 服务包括:
- Google Cloud Load Balancer,用于将流量路由到 LangSmith 服务。
- 用于缓存静态资产的 Google Cloud CDN。
- 用于安全性和速率限制的 Google Cloud Armor。有关我们实施的速率限制的更多信息,请参阅本指南。

将 IP 地址列入白名单
离开 LangSmith 服务的所有流量都将通过 NAT 网关进行路由。所有流量将显示为来自以下 IP 地址:
| 我们 | 欧盟 |
|---|---|
| 34.59.65.97 | 34.13.192.67 |
| 34.67.51.221 | 34.147.105.64 |
| 34.46.212.37 | 34.90.22.166 |
| 34.132.150.88 | 34.147.36.213 |
| 35.188.222.201 | 34.32.137.113 |
| 34.58.194.127 | 34.91.238.184 |
| 34.59.97.173 | 35.204.101.241 |
| 104.198.162.55 | 35.204.48.32 |
如果连接到你自己的 AzureOpenAI 服务或 Playground 或 Online Evaluation 可能需要的其他终结点,将这些 IP 地址列入白名单可能会有所帮助。