全局模型调用分析
全局模型调用分析
全局模型调用分析是从全局角度来查看所有模型调用相关数据，并支持模型切换，查看具体一个模型的相关数据。
| 面板 |
说明 |
| LLM模型调用次数 |
展示所有应用在指定时间段内调用大模型的次数 |
| LLM模型调用QPS |
展示所有应用在指定时间段内调用大模型的QPS |
| LLM模型调用错误数 |
展示所有应用在指定时间段内调用大模型的错误数 |
| LLM模型调用错误率 |
展示所有应用在指定时间段内调用大模型的错误率 |
| Token用量 |
展示所有应用在指定时间段使用的Token用量，可查看input 和output |
| Avg Tokens per LLM call |
展示所有应用在指定时间段每次大模型调用平均使用的Token用量，可查看input和output |
| 面板 |
说明 |
| LLM模型调用次数调用趋势图 |
默认展示所有应用LLM模型调用次数调用趋势图 可切换LLM模型调用QPS 可切换Avg LLM call per request 表示每次用户请求平均大模型调用次数 |
| LLM模型调用错误数趋势图 |
默认所有应用LLM模型调用错误数趋势图，可切换LLM模型调用错误率趋势图 |
| LLM模型调用耗时趋势图 |
展示所有应用LLM模型调用耗时趋势图，支持Avg，p90，p95，p99耗时 |
| LLM模型调用首Token耗时趋势图 |
展示所有应用LLM模型调用首Token耗时趋势图 ，支持Avg，p90，p95，p99耗时 |
| 面板 |
说明 |
| Token用量趋势 |
展示所有应用在指定时间段使用的Token用量趋势，可查看input 和output |
| Avg Tokens per LLM call趋势 |
展示所有应用在指定时间段每次大模型调用平均使用的Token用量趋势 |
| 面板 |
说明 |
| LLM模型调用次数 应用Top5 |
基于所有应用对大模型的调用，统计大模型调用次数Top5的应用，支持切换趋势图显示 |
| LLM模型调用错误数 应用Top5 |
基于所有应用对大模型的调用，统计大模型调用错误Top5的应用，支持切换趋势图显示 |
| LLM模型调用平均耗时 应用Top5 |
基于所有应用对大模型的调用，统计大模型调用平均耗时Top5的应用，支持切换趋势图显示 |
| LLM模型调用首Token平均耗时 应用Top5 |
基于所有应用对大模型的调用，统计大模型调用首Token平均耗时Top5的应用，支持切换趋势图显示 |
![]()
