2026年8月24日,在UTC时间13:33至14:04期间,3.8%的Actions运行遇到超过5分钟的启动延迟,其中1.25%的Actions运行彻底失败。
此次事故是由于承载多个负责处理运行器分配事件的服务实例之一的节点发生磁盘故障所致。通常情况下,不健康节点上的Pod会被自动移除并替换,不会造成影响。但在此次事件中,尽管该节点严重性能下降、无法执行磁盘操作,它却持续发送健康信号,导致系统无法立即将其工作转移到其他地方。在此期间,分配给受影响组件的事件不断积压,直到UTC时间13:54自动重新平衡将处理转移至健康组件。队列积压于UTC时间14:00清空,处理工作于14:04恢复正常。
为防止此类问题再次发生,我们正在改进对未完全离线的不健康节点的检测与自动修复能力。同时,我们也在加强应用层的韧性,以便能够快速自动移除停滞的消费者,并在无需等待受影响节点恢复的情况下重新分配其工作。