后室中文数据库状态页 - 部分 GitHub 服务出现中断 – 故障详情

7月24日UTC时间16:04，我们三个物理数据中心可用区(AZ)之一的网络路径出现连接中断。由于剩余活动路径趋于饱和，导致出现丢包现象。我们的数据中心在每个计算机柜(compute cage)中采用leaf-spine交换机架构，并在每个可用区内使用一个聚合层将各机柜的spine交换机互连起来。此次连接中断影响了该特定可用区内某一机柜的spine交换机与聚合层之间的链路。

依赖该机柜计算资源的工作负载因丢包而出现性能下降，并表现出间歇性错误：

- 在受影响期间，Actions有10%的作业失败，5%的作业虽成功但启动延迟。
- 27%的GitHub issues交互出现请求缓慢或超时。
- 4%的GitHub Copilot请求出现错误，不过大多数会自动重试。
- 4%的git push操作在受影响期间受到影响。
- 身份验证请求在受影响期间延迟增加，但错误率虽有上升，在所有情况下均低于1%。

我们通过将受影响的连接重新路由至为未来容量升级预留的可用光纤路径，成功缓解了此次故障。足以消除丢包的网络容量于17:07恢复，大多数服务在17:16前已完全恢复。所有路径均已恢复，服务在17:36恢复正常。

此次事件影响了25%的可用网络互连容量。较旧的机柜采用100Gbps网络接口标准。为消除再次发生的风险，我们正在尽可能加快升级至400Gbps接口的计划，以确保交换机架构各层都拥有更充足的带宽，从而提升对路径或设备故障的容错能力。

我们观察到所有服务均已恢复

Actions 正在经历性能下降。我们将持续调查。

我们已应用缓解措施，正在监控恢复情况

Actions 的可用性正在下降。我们将继续调查。

Pages 出现性能下降。我们正在继续调查。

Copilot 正在出现性能下降。我们将持续调查。

我们正在调查部分 GitHub 服务出现超时的问题

Pull Requests 正在经历性能下降。我们将继续调查。

Actions 正在经历性能下降。我们将持续进行调查。