📄️ Argilla
Argilla 是一个适用于 LLM 的开源数据管理平台。
📄️ Comet Tracing
有两种方法可以使用 Comet 跟踪 LangChains 执行：
📄️ Confident
用于单元测试 LLM 的 DeepEval 软件包。
📄️ Context
Context 为 LLM 支持的产品和功能提供用户分析。
📄️ Fiddler
Fiddler 是企业生成式和预测系统运营的先驱，它提供了一个统一的平台，使数据科学、MLOps、风险、合规性、分析和其他 LOB 团队能够监控、解释、分析和改进企业规模的 ML 部署。
📄️ Infino
Infino 是一种可扩展的遥测存储，专为日志、指标和跟踪而设计。Infino 可以用作独立的可观测性解决方案，也可以用作可观测性堆栈中的存储层。
📄️ Label Studio
Label Studio 是一个开源数据标记平台，在 LangChain 标记数据以微调大型语言模型 （LLM） 时，它为 LangChain 提供了灵活性。它还支持准备自定义训练数据，以及通过人工反馈收集和评估响应。
📄️ LLMonitor
LLMonitor 是一个开源可观测性平台，提供成本和使用情况分析、用户跟踪、跟踪和评估工具。
📄️ PromptLayer
PromptLayer 是一个用于提示工程的平台。它还有助于提高 LLM 可观测性，以可视化请求、版本提示和跟踪使用情况。
📄️ SageMaker Tracking
Amazon SageMaker 是一项完全托管的服务，用于快速轻松地构建、训练和部署机器学习 （ML） 模型。
📄️ Streamlit
Streamlit 是构建和共享数据应用程序的更快方式。
📄️ Trubrics
Trubrics 是一个 LLM 用户分析平台，可让您收集、分析和管理用户
📄️ Upstash Ratelimit Callback
在本指南中，我们将介绍如何使用 UpstashRatelimitHandler 根据请求数量或令牌数量添加速率限制。此处理程序使用 Upstash 的 ratelimit 库，该库使用 Upstash Redis。
📄️ uptrain
UpTrain [github || website || docs] 是一个用于评估和改进 LLM 应用程序的开源平台。它为 20+ 预配置检查（涵盖语言、代码、嵌入用例）提供等级，对故障案例实例执行根本原因分析，并提供解决这些故障的指导。