Skip to main content
在 GitHub 上打开

Infino

Infino 是一个开源可观测性平台，可将指标和应用程序日志一起存储。

主要特点Infino包括：

  • Metrics Tracking：捕获 LLM 模型处理特定 LLM 的请求、错误、令牌数量和成本指示所花费的时间。
  • 数据跟踪：记录并存储每个 LangChain 交互的提示、请求和响应数据。
  • 图形可视化：生成随时间变化的基本图表，描述请求持续时间、错误发生次数、令牌计数和成本等指标。

安装和设置

首先，您需要安装infinopyPython 包，如下所示：

pip install infinopy

如果您已经有一个Infino Server跑步，然后你就可以开始了;但是如果 您不需要，请按照以下步骤启动它：

  • 确保您已安装 Docker
  • 在终端中运行以下命令： 
    docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

使用 Infino

请参阅使用示例InfinoCallbackHandler.

from langchain.callbacks import InfinoCallbackHandler