概述

LLM（Large Language Model）应用性能监控，可实时追踪应用中所使用LLM的推理时延、吞吐量、Token用量等核心指标，支持采集LLM领域特有的span类型，可视化展示端到端调用链路的详细信息，为应用的持续优化与高效运维提供精准的数据支撑。

• 产品优势

  • 简单易用：开通后可根据接入流程快速接入应用，即可获得开箱即用的LLM应用可观测能力。
  • 拥抱开源：支持业界通用的 OpenTelemetry 标准，支持多种LLM框架和组件。
  • 指标可视化：提供模型调用分析、Token分析能力，从全局层面统计并分析LLM应用调用的各项重点指标，让企业内部科技向业务的赋能成果都能“可视化”。
  • 过程白盒化：定制面向LLM应用的领域化Trace语义，打开LLM应用内部，从用户层面的输入输出，到每个Span的参数详情观测，让每一次调用都能“白盒化”。

• 核心能力

  • 大模型应用性能监控：追踪整个应用程序的用户请求，汇总实时监控数据，支持大模型调用分析、Token分析、LLM操作分析等大模型应用特有的性能监控能力。
  • 实时异常报警（二期支持）：针对大模型应用性能关键指标设置报警触发规则，通过多种渠道（电话、短信、邮件、微信、钉钉、飞书等）进行通知。当监控指标异常时，用户可以第一时间接收到异常报警通知，及时响应处理故障，避免因异常发现滞后所造成的业务损失。
  • 分布式拓扑动态发现：自动发现应用逻辑拓扑，清晰展示上下游依赖关系，可视化地展示繁杂应用间的依赖关系；支持实时数据钻取，全面分析应用上下游状况和性能指标。
  • 调用链分析：对大模型应用的调用链信息进行分析，可在调用链分析页面查看大模型调用链中不同类型的Span耗时，以及Span的关联信息，例如Input、Output、Token消耗等。