应用概览页

应用概览页显示单个应用核心的模型调用、Token用量、会话数、用户数等数据。

• 筛选条件 ：支持筛选模型，默认全部，查看应用维度数据，选单个模型可查看单个模型数据。
• 概览数据：

面板	说明
LLM模型调用次数	展示应用在指定时间段产生的大模型调用次数
LLM模型调用错误数	展示应用在指定时间段产生的大模型调用错误数
LLM模型调用平均耗时	展示应用在指定时间段产生的大模型调用平均耗时
Token用量	展示应用在指定时间段产生的Token用量
会话数	展示应用在指定时间段内访问大模型应用的会话数
用户数	展示应用在指定时间段内使用大模型应用的用户数
Trace数	展示应用在指定时间段产生的调用链数量
Span数	展示应用在指定时间段产生的Span数量

• LLM模型相关数据汇总：

面板	说明
LLM模型调用次数趋势图	展示LLM模型调用次数调用趋势图
LLM模型调用操作类型分布图	展示不同操作类型的分布次数和占比情况，包含Embedding、Agent、LLM、Task、Took、Workflow、Rerank七种操作类型
LLM模型调用次数排行Top5	展示LLM模型调用次数Top5模型，支持趋势图显示

• 其他数据汇总：

面板	说明
会话数趋势图	展示应用访问大模型应用的会话数趋势图
用户数趋势图	展示应用使用大模型应用的用户数趋势图
Trace数趋势	展示应用产生的调用链数量趋势图

模型调用分析

模型调用分析详细展示了单个应用的LLM大模型调用相关的数据。

• 概览数据：

面板	说明
LLM模型调用次数	展示应用在指定时间段内调用大模型的次数
LLM模型调用QPS	展示应用在指定时间段内调用大模型的QPS
LLM模型调用错误数	展示应用在指定时间段内调用大模型的错误数
LLM模型调用错误率	展示应用在指定时间段内调用大模型的错误率
LLM模型调用平均耗时	展示应用在指定时间段内调用大模型的平均耗时时间
LLM模型调用首Token平均耗时	展示应用在指定时间段内调用首Token平均耗时，其中首Token耗时是指在每个请求里，用户输入Query点发送键开始到最后一次请求大模型，首Token开始输出的耗时时间

• 大模型调用趋势：

面板	说明
LLM模型调用次数调用趋势图	默认展示LLM模型调用次数调用趋势图 可切换LLM模型调用QPS 可切换Avg LLM call per request 表示每次用户请求平均LLM模型调用次数
LLM模型调用错误数趋势图	默认LLM模型调用错误数趋势图，可切换LLM模型调用错误率趋势图
LLM模型调用耗时趋势图	展示LLM模型调用耗时趋势图，支持Avg、P90、P95、P99耗时
LLM模型调用首Token耗时趋势图	展示LLM模型调用首Token耗时趋势图 ，支持Avg、P90、P95、P99耗时

• 大模型调用Top5：

面板	说明
LLM模型调用次数排行 Top5模型	基于应用对大模型的调用，统计LLM调用次数Top5的大模型，支持切换趋势图 可切换LLM模型调用QPS的Top5模型，支持切换趋势图 可切换Avg call per LLM request的Top5模型
LLM模型调用错误数排行 Top5模型	基于应用对大模型的调用，统计LLM调用错误的Top5的大模型，支持切换趋势图可切换LLM调用错误率的Top5的模型，支持切换趋势图
LLM模型调用平均耗时 Top5模型	基于应用对大模型的调用，统计LLM调用平均耗时的Top5的大模型，可切换其他耗时指标p90、p95、p99耗时，支持切换趋势图
LLM模型调用首Token平均耗时 Top5模型	基于应用对大模型的调用，统计LLM调用首Token平均耗时的Top5的大模型，可切换其他耗时指标，支持切换趋势图

LLM操作

LLM操作详细展示了单个应用的LLM操作相关的数据，操作类型包含Embedding、Agent、LLM、Task、Took、Workflow、Rerank七种操作类型。

• 筛选条件：支持操作类型选择（默认第一个）
• 概览数据：显示所选择操作类型的相关数据

面板	说明
xx操作调用次数	展示应用在指定时间段内调用xx操作的次数
xx操作调用错误数	展示应用在指定时间段内调用xx操作的错误数
xx操作调用错误率	展示应用在指定时间段内调用xx操作的错误率
xx操作调用平均耗时	展示应用在指定时间段内调用xx操作的平均耗时时间

• 操作类型调用趋势：显示所选择操作类型的调用相关数据

面板	说明
xx操作调用次数调用趋势图	展示xx操作调用次数调用趋势图
xx操作调用错误数趋势图	展示xx操作调用错误数趋势图，可切换xx操作调用错误率趋势图
xx操作调用耗时趋势图	展示xx操作调用耗时趋势图，支持Avg、P90、P95、P99耗时

• 操作类型Top5：显示所选择操作类型的Top5模型数据，支持切换趋势图

面板	说明
xx操作调用次数调用Top5	统计xx操作调用次数Top5模型或具体操作名称，分别展示调用次数Top5的Embedding模型、LLM模型、Agent、Tool、Task、Rerank模型、Workflow的名称
xx操作调用错误数Top5	统计xxx错误的Top5，下拉切换xxx错误率的Top5
xx操作调用耗时Top5	统计xxx平均耗时的Top5，下拉切换P90、P95、P99耗时

Token分析

Token分析展示单个应用的Token相关数据，支持模型筛选，查看具体一个模型相关的Token数据。

• 筛选条件：模型名称，默认全部，支持搜索，单选。
• 概览数据：

面板	说明
Token用量	展示应用在指定时间段使用的Token用量，可查看input 和output
Avg Tokens per request	展示应用在指定时间段每次用户请求平均使用的Token用量，可查看input 和output
Avg Tokens per LLM call	展示应用在指定时间段每次LLM调用平均使用的Token用量，可查看input 和output
平均首Token耗时 per request	展示应用在指定时间段每次用户请求平均首Token耗时，其中首Token耗时是指在每个请求里，用户输入Query点发送键开始到最后一次请求大模型，首Token开始输出的耗时时间

• 趋势图：

面板	说明
Token用量趋势	展示应用在指定时间段使用的Token用量趋势，可查看input 和output
Avg Tokens per request趋势	展示应用在指定时间段每次用户请求平均使用的Token用量趋势
Avg Tokens per LLM call趋势	展示应用在指定时间段每次LLM调用平均使用的Token用量趋势
Token输出速度 per request趋势	展示应用在指定时间段每次用户请求Token输出速度趋势，输出速度为每次请求Token输出数量/每次请求耗时
首Token耗时 per request趋势	展示应用在指定时间段每次用户请求首Token耗时，可查看Avg、P90、P95、P99耗时

• Token用量排行Top5：

面板	说明
Token用量 Top5会话	统计Token用量Top5的会话（Session），支持切换趋势图
Token用量 Top5用户	统计Token用量Top5的用户，支持切换趋势图
Token用量 Top5模型	统计Token用量Top5的大模型，支持切换趋势图
Avg Tokens per LLM call Top5模型	统计 "Avg Tokens per LLM call" Top5的大模型，支持切换趋势图

其他Tab模块

接口监控、日志分析、异常分析、调用链分析模块同APM应用性能监控。