概述

本文档介绍日志服务智能诊断功能。该功能面向自行训练大模型的用户，提供基于大模型训练日志的智能诊断能力。以训练任务为颗粒度，用户可查看该任务下经由智能诊断所产出的问题列表，以及各个问题的类型定位、风险等级和建议解决方案。

准备事项

• 智能诊断需基于训练日志进行，因此需要收集日志并传输到日志集中。具体操作请参考日志集、收集器和传输任务。
• 本功能当前支持的主要为 PyTorchJob 。在大模型训练日志中，您需将训练任务 job id 和 worker id 写入到 pod_name 字段中。参考下图示例，pod_name 中包含了job id 信息（llama-rdma）和 worker id信息（worker-0）。

• 在传输任务中，对于源端容器采集元数据，需勾选 pod_name。

• 在日志集列表中找到该日志集，操作列点击【编辑】，之后选择高级配置 > 日志内容 > 大模型训练日志并保存。

创建智能诊断

1. 在控制台进入 日志服务 -> 日志应用 -> 智能诊断，确认当前页签为 【训练任务】。
2. 在 【训练任务】中点击【创建智能诊断】按钮，打开弹窗。

3. 填写需要诊断的训练任务 ID、该训练任务相应的日志集、需要诊断的日志时间范围。注意：

   • 训练任务 ID 可使用日志中的 Job ID，即训练任务的唯一标识。
   • 如果没有查询到日志集，请根据上述“准备事项”，确认是否已完成“日志内容”的配置。
   • 如果该训练任务当前仍在进行，可选择最近 1 小时或 2 小时的日志进行诊断；如果训练任务已停止，可在停止大致时间点附近选择数小时的日志进行诊断。

4. 点击【确定】，创建训练任务智能诊断记录。

查看智能诊断结果

1. 创建智能诊断后，很快即可在诊断记录列表中查看到本次诊断的状态以及诊断出的问题总数量等信息。点击该行的【查看详情】，可查看到本次诊断出的各个问题（如有）详情，包括故障类型、风险等级、故障的工作节点（worker）、建议解决方案。

2. 根据建议解决方案处理后，可把该问题标记为已解决的状态。

其他操作

1. 如需查看过往诊断结果，可在训练任务诊断列表中，通过诊断时间范围、训练任务ID进行查找。
2. 如果不再需要保存某条诊断记录，可点击该行的【删除】。删除后本次诊断信息不可再次查看，但相关日志信息不会被清除。