NF5468M5多次PCIE报错故障案例分享

问题描述

某客户报修一台NF5468M5PCIE报错宕机重启，更换对应部件后仍多次复现，需要排查故障原因。

涉及范围

无

处理方案

第一次故障：

从带外日志可以看到有PCIE报错，报错日志截图如下：

根据黑盒定位指向BDF174/0/0和175/0/0，更换GPU板，黑盒日志截图如下：

第二次故障复现

带外日志有PCIE报错，截图如下：

查看黑盒日志，指向BDF 174/0/0和176/1/0，考虑之前已更换过GPU板，报错BDF仍在CPU1链路下，判断是CPU1问题，工程师更换CPU1。

黑盒截图如下：

第三次故障复现

客户端反馈设备故障复现，日志报错指向BusNo 174和176，安排工程师携带主板/GPU板/线缆上门继续排查，更换主板和GPU板E端口的slimline线缆，压测CPU无异常，重启后会报PCIE报错，将F\G\H端口slimline线缆也一并更换，故障依旧，对调CPU测试故障依旧，将两个CPU管控下的GPU分别交叉对调测试，故障依旧。怀疑问题与主板、GPU板之间的接口链接相关，计划进一步做分离GPU模块、主板做最小化测试。现场测试设备加电开机后重启基本能稳定复现到PCIE故障，分离GPU模块、主板进行最小化测试。单CPU单内存状态下依旧能复现故障，交叉更换CPU和内存测试无效，判断问题与主板相关。更换主板后最小化状态下测试问题不再复现，多次重启均未复现故障，还原所有备件，重启多遍测试也未复现故障，进行CPU linpack测试也未发现异常，交付客户使用观察。

第四次故障复现

客户反馈设备故障再次复现，根据客户端提供的OS下报错信息。此次报错指向了一个GPU。

现场测试发现此次故障复现方法与之前不一样，之前设备重启测试可以复现PCIE故障，此次重启测试均正常，无PCIE报错。

对GPU进行filediag测试能复现故障，开始压测后大约5分钟会出现PCIE报错如下：

现场更换GPU、交叉GPU槽位测试排查故障跟随GPU板，现场更换GPU板后再次压测GPU能正常运行，GPU压测2.5H，内存和CPU压测0.5H均未再次出现问题，交付客户使用观察。

故障根因

综上，机器存在两个故障现象，机器重启过程出现PCIE报错和GPU运行过程（filediag测试）产生PCIE报错。经过现场最小化交叉测试排查，机器重启过程出现PCIE报错问题和主板相关，GPU运行过程（filediag测试）产生PCIE报错问题与GPU板相关。

建议与总结