ThinkSystem上发生了无法纠正或致命的总线错误 (CATERR)
症状
ThinkSystem服务器可能会意外重启或挂起,并在Lenovo XClarity Controller (XCC) 系统事件日志 (SEL) 中显示以下消息之一:
严重性 Common_ID Event_ID 消息字符串 错误 FQXSPIO0013N 806F0a13xxxxxxxx 总线 [SensorElementName] 上发生致命总线错误。 错误 FQXSPMA0008N 806F010cxxxxxxxx 在子系统 [MemoryElementName] 上检测到 [PhysicalMemoryElementName] 的无法纠正的错误。 错误 FQXSPIO0011N 806F0813xxxxxxxx 在 [SensorElementName] 上发生无法纠正的错误。 错误 FQXSPPU0011N 806F0607xxxxxxxx 已断言 [ProcessorElementName] 的 SM BIOS无法纠正的 CPU 复杂错误。
该问题在启动过程中以及操作系统运行时都会出现,通常是在工作负载较轻的时期。
我们建议阅读与此问题相关的提示“ Linux 忽略统一可扩展固件接口 (UEFI) 中的 C 状态设置”。 (其中 XCC = Lenovo XClarity 控制器,FFDC = 首次故障数据捕获)
适用系统
该系统可以是以下任何一款Lenovo服务器:
- ThinkSystem SE350,7Z46 型,任何型号
- ThinkSystem SN550,7X16 型,任何型号
- ThinkSystem SN850,7X15 型,任意型号
- ThinkSystem SR850,7X18 型,任何型号
- ThinkSystem SR850,7X19 型,任意型号
- ThinkSystem SR850P,7D2F 型,任何型号
- ThinkSystem SR850P,7D2G 型,任何型号
- ThinkSystem SR850P,7D2H 型 (SAP HANA),任意型号
- ThinkSystem SR860,类型 7X69,任何型号 7X69、7X70
- ThinkSystem SR950,7X11 型,任何型号 7X11、7X12
- ThinkSystem SR950,7X13 型 (SAP HANA),任意型号
- ThinkSystem SD530,7X21 型,任意型号
- ThinkSystem SD650 双节点 WCT 托盘,任意型号 7X58
- ThinkSystem SR530,7X07 型,任何型号
- ThinkSystem SR530,类型 7X08,任何型号
- ThinkSystem SR550,类型 7X03,任何型号
- ThinkSystem SR550,类型 7X04,任何型号
- ThinkSystem SR570,类型 7Y02,任何型号
- ThinkSystem SR570,类型 7Y03,任何型号
- ThinkSystem SR590,7X98 型,任意型号
- ThinkSystem SR590,7X99 型,任意型号
- ThinkSystem SR630,类型 7X01,任何型号
- ThinkSystem SR630,类型 7X02,任何型号
- ThinkSystem SR650,类型 7X05,任何型号
- ThinkSystem SR650,类型 7X06,任何型号
- ThinkSystem SR670,7Y36 型,任何型号
- ThinkSystem SR670,7Y37 型,任何型号
- ThinkSystem ST550,类型 7X09,任何型号
- ThinkSystem ST550,7X10 型,任意型号
- ThinkSystem ST558,7Y15 型,任何型号
- ThinkSystem ST558,7Y16 型,任意型号
解决方案
此行为在 2022 年第一季度或之后发布的 UEFI 固件中得到缓解。请参阅系统 UEFI 更改日志以获取标记为“2021.2 Intel平台更新 (IPU) 版本”的修复详细信息。为了识别适用的ThinkSystem UEFI 更新包,请参阅以下列表:
解决方法
如果系统处于挂起状态,则系统恢复将需要按住电源按钮 4 秒钟以强制关闭服务器电源,或者对机器进行交流电循环/虚拟重新安装。
以下解决方法已被证明可以解决或大大减少出现这些问题的可能性,即使使用最新的固件,也建议使用这些设置。
选项 1
打开服务器并进入 UEFI 设置。导航到系统设置 --> 操作模式并将其设置为“自定义模式”,然后按如下方式更改 UEFI 设置:
在 UEFI 设置 > 系统设置 > 操作模式
- Processors.C1EnhancedMode=禁用
- Processors.CStates=禁用
- Processors.MONITORMWAIT=禁用
注意:如果 VMware 使用 EVC(增强型 vMotion 兼容性),请不要禁用 MONITOR/MWAIT。
在 UEFI 菜单中,保存设置并重新启动系统以使更改生效。
选项 2
如果 C1EnhancedMode 和 CStates 已被禁用,则可以跳过此步骤。
在极少数情况下,可能会启用 Processors.PackageCstate,但遗憾的是 UEFI F1 设置中没有与之关联的菜单选项。相反,用户可以运行 OneCLI 命令。需要注意的是,从 2017-08-28 发布的 UEFI 固件开始,Processors.PackageCstate 在固件中默认设置为“已禁用”。
运行此命令来检查 PackageCstate:
OneCli.exe config Processors.PackageCstate --bmc XCC_USERID:XCC_PASSW0RD@XCC_IP --override
如果输出显示“ Processors.PackageCstate=Disable ”,则无需采取任何措施。如果显示“ Processors.PackageCstate=Enable ”,则运行以下命令将其禁用:
OneCli.exe config Processors.PackageCstate "disable" --bmc XCC_USERID:XCC_PASSW0RD@XCC_IP --override
如果通过 OneCLI 应用解决方法,则必须重新启动系统才能使新设置生效。
如果在禁用 C-states、M-wait、C1E 和 PackageCstate 的情况下问题仍然存在,请收集系统服务数据(FFDC 日志)以及适用的操作系统支持日志,并将其提供给Lenovo支持。
- 对于 VMware,请参见“收集 VMware ESX/ESXi 的诊断信息 (653) ”
- 对于 Red Hat Linux,请参阅“什么是 sosreport 以及如何在 Red Hat Enterprise Linux 4.6 及更高版本中创建 sosreport ”
- 对于 SUSE Linux,请参阅“ Supportutils ”
- 对于Windows ,请参阅“ 使用Windows Server Essentials 日志收集器”
- 对于 Ubuntu Linux,请参阅“ Canonical 支持数据收集 Sosreport ”
附加信息
- 在主题专家分析完日志之前,不应更换零件。服务和现场人员应收集所有可用的 XCC 服务数据日志和/或操作系统日志,并通过支持票上报给Lenovo 2 级或 3 级团队进行审核。
- 由于平台差异,该问题不影响 SR250、ST250 和 ST50。