Skip to main content

故障 排除

本指南将引导您了解在运行 LangSmith 的自托管实例时可能遇到的常见问题。

在运行 LangSmith 时，您可能会遇到意外的 500 错误、性能缓慢或其他问题。本指南将帮助您诊断和解决这些问题。

故障排除的第一步是检查组成 LangSmith 的各种服务的日志。

如果在 Kubernetes 上运行，您可以通过运行以下命令来检查部署的日志（将langsmith替换为您的部署名称（如果您使用其他名称进行部署）：

kubectl logs -l app.kubernetes.io/instance=langsmith --prefix -n <namespace> >> logs.txt

如果在 Docker 上运行，您可以通过运行以下命令来检查部署的日志：

docker compose logs >> logs.txt

通常，您需要分析的主要服务是：

  • langsmith-backend：主要的后端服务。
  • langsmith-queue：队列服务。

常见问题

DB：：Exception：无法预留 1.00 MiB，空间不足：执行 WaitForAsyncInsert 时。（NOT_ENOUGH_SPACE）​

当 ClickHouse 磁盘空间不足时，会发生此错误。您将需要增加 ClickHouse 可用的磁盘空间。

Kubernetes （简体中文）

在 Kubernetes 中，您需要增加 ClickHouse PVC 的大小。为此，您可以执行以下步骤：

  1. 获取 PVC 的存储类：kubectl get pvc data-langsmith-clickhouse-0 -n <namespace> -o jsonpath='{.spec.storageClassName}'
  2. 确保存储类具有 AllowVolumeExpansion： true：kubectl get sc <storage-class-name> -o jsonpath='{.allowVolumeExpansion}'
    • 如果为 false，则可以更新某些存储类以允许卷扩展。
    • 要更新存储类，您可以运行kubectl patch sc <storage-class-name> -p '{"allowVolumeExpansion": true}'
    • 如果此作失败，您可能需要使用正确的设置创建新的存储类。
  3. 编辑您的 pvc 以获得新大小：kubectl edit pvc data-langsmith-clickhouse-0 -n <namespace>或kubectl patch pvc data-langsmith-clickhouse-0 '{"spec":{"resources":{"requests":{"storage":"100Gi"}}}}' -n <namespace>
  4. 更新你的 helm chartlangsmith_config.yaml调整为新大小（例如100 Gi)
  5. 删除 clickhouse statefulsetkubectl delete statefulset langsmith-clickhouse --cascade=orphan -n <namespace>
  6. 应用更新大小的 helm chart（您可以按照此处的升级指南进行作)
  7. 您的 pvc 现在应该具有新大小。通过运行kubectl get pvc和kubectl exec langsmith-clickhouse-0 -- bash -c "df"

码头工人

在 Docker 中，您需要增加 ClickHouse 卷的大小。为此，您可以执行以下步骤：

  1. 停止您的 LangSmith 实例。docker compose down
  2. 如果使用 bind mount，则需要增加挂载点的大小。
  3. 如果使用 dockervolume，您需要为 volume/docker 分配更多空间。

错误：脏数据库版本 'version'。修复和强制版本

当 ClickHouse 数据库与我们的迁移处于不一致状态时，就会发生此错误。您需要重置为较早的数据库版本，然后重新运行升级/迁移。

Kubernetes （简体中文）

  1. 强制迁移到早期版本，其中 version = 脏版本 - 1。
kubectl exec -it deployments/langsmith-backend -- bash -c 'migrate -source "file://clickhouse/migrations" -database "clickhouse://$CLICKHOUSE_HOST:$CLICKHOUSE_NATIVE_PORT?username=$CLICKHOUSE_USER&password=$CLICKHOUSE_PASSWORD&database=$CLICKHOUSE_DB&x-multi-statement=true&x-migrations-table-engine=MergeTree&secure=$CLICKHOUSE_TLS" force <version>'
  1. 重新运行升级/迁移。

码头工人

  1. 强制迁移到早期版本，其中 version = 脏版本 - 1。
docker compose exec langchain-backend migrate -source "file://clickhouse/migrations" -database "clickhouse://$CLICKHOUSE_HOST:$CLICKHOUSE_NATIVE_PORT?username=$CLICKHOUSE_USER&password=$CLICKHOUSE_PASSWORD&database=$CLICKHOUSE_DB&x-multi-statement=true&x-migrations-table-engine=MergeTree&secure=$CLICKHOUSE_TLS" force <version>
  1. 重新运行升级/迁移。

413 - 请求实体太大

当请求大小超过允许的最大大小时，会出现此错误。您需要在 Nginx 配置中增加最大请求大小。

Kubernetes （简体中文）

  1. 编辑langsmith_config.yaml并增加frontend.maxBodySize 值。 这可能看起来像这样：
frontend:
  maxBodySize: "100M"
  1. 将更改应用到集群。

详细信息：代码：497，消息：默认：权限不足。要执行此查询，必须对 default.feedbacks_rmt 具有 grant CREATE ROW POLICY

当您的用户没有在 Clickhouse 中创建行策略所需的权限时，会出现此错误。部署 Docker 部署时，您需要将users.xml文件。 这会添加<access_management>标记设置为users.xml文件，它允许用户创建行策略。以下是默认值users.xml我们期望使用的文件中。

<clickhouse>
    <users>
        <default>
            <access_management>1</access_management>
            <named_collection_control>1</named_collection_control>
            <show_named_collections>1</show_named_collections>
            <show_named_collections_secrets>1</show_named_collections_secrets>
            <profile>default</profile>
        </default>
    </users>
    <profiles>
        <default>
            <async_insert>1</async_insert>
            <async_insert_max_data_size>2000000</async_insert_max_data_size>
            <wait_for_async_insert>0</wait_for_async_insert>
            <parallel_view_processing>1</parallel_view_processing>
            <allow_simdjson>0</allow_simdjson>
            <lightweight_deletes_sync>0</lightweight_deletes_sync>
        </default>
    </profiles>
</clickhouse>

在某些环境中，容器可能无法写入您的挂载点。在这些情况下，我们建议使用users.xml文件。

例Dockerfile:

FROM clickhouse/clickhouse-server:24.8

COPY ./users.xml /etc/clickhouse-server/users.d/users.xml

然后按照以下步骤作：

  1. 构建您的自定义镜像。
docker build -t <image-name> .
  1. 更新您的docker-compose.yaml以使用自定义映像。确保删除 users.xml 挂载点。
langchain-clickhouse:
  image: <image-name>
  1. 重新启动 LangSmith 实例。
docker compose down --volumes
docker compose up

这个页面有帮助吗？


您可以在 GitHub 上留下详细的反馈。