后室中文数据库状态页 - Git 操作、拉取请求和 Actions 出现故障 – 故障详情

2026年10月7日,GitHub发生了两次原因相同的写操作故障,总计约19分钟。第一次从UTC时间15:06持续到15:16(约10分钟),第二次从16:52持续到17:01(约9分钟)。在这两个时间段内,涉及保存或修改数据的操作在Git操作、拉取请求、议题、GitHub Actions、API、webhook、登录与身份验证、GitHub Apps与OAuth、代码扫描、Codespaces以及Copilot等方面均出现失败。读取数据基本未受影响。

在第一次故障中,所有网页和API请求中有5.6%失败,峰值达到8.9%,超过12,000个组织遇到了请求失败的情况。最多26%的Git身份验证请求失败,17%的Actions工作流运行因基础设施错误而失败。在第二次故障中,6.2%的网页和API请求失败,峰值达到9.3%,超过11,000个组织受到影响。最多25%的Git身份验证请求失败,19%的Actions工作流运行失败。没有数据库发生数据丢失,恢复后重试的操作均成功执行。

GitHub依赖一项内部服务来追踪哪些数据库服务器应接收新增和更新的数据。在例行维护中替换运行此服务的机器时,其中一台新机器启动时使用了一份过期的记录副本,该副本中仍列出了我们已经下线的数据库服务器。当该节点上线后,它错误地用这些过期记录修改了路由配置,导致写请求被路由到不存在的数据库服务器。

每次故障的结束,都是因为我们某台配置正确的现有机器成为了仲裁的主节点,并下发了正确的配置。第一次故障后,我们确认了问题出在那台新机器上,并暂停了自动化维护以阻止它再次成为主节点。但在UTC时间16:52,一个未遵循暂停设置的自动化维护任务又将其重新置于主节点地位,故障因此再次发生。我们于17:02关闭了该机器,此后已将其移除,目前该自动化流程已能正确遵循暂停设置——此前未能遵循暂停设置,是我们puppet基础设施一次更新引入的新回归问题。

为防止类似问题再次发生,我们将在添加任何新机器之前,先清理该服务记录中已下线的数据库服务器,并且在新机器的记录经过核查之前,不允许其被选为主节点。我们还将调整系统,使其拒绝指向不存在服务器的配置,转而继续使用最后一次已知正常的配置。此外,我们将为响应人员提供更快速的手段,以便将行为异常的机器下线,并新增告警机制,以便在数秒内发现此类变更。

我们将在月度可用性报告中分享关于这些事件的更详细说明,以及我们为防止未来再次发生类似问题而进行的修复工作的进展情况。

Git 操作、拉取请求和 Actions 已完全恢复并保持稳定。根本原因已确认，正在采取缓解措施以防止再次发生。

我们观察到所有系统(包括 Git 操作、Pull Requests 和 Actions)已完全恢复。我们将继续调查 UTC 时间 15:06 至 15:16 期间故障的根本原因,并将很快分享进一步更新。

性能下降问题已缓解。我们正在持续监控以确保系统稳定。

性能下降问题已缓解。我们正在持续监控中以确保系统稳定。

影响 Git 操作和 Webhooks 的性能下降问题已得到缓解。我们正在持续监控以确保系统稳定。

影响 Issues 的性能下降问题已得到缓解。我们正在持续监控以确保系统稳定。

我们观察到所有系统正在部分恢复。我们将持续监控并调查此次中断的根本原因。

Git Operations 正在经历性能下降。我们将持续调查。

Actions 运行正常。

影响拉取请求（Pull Requests）的性能下降问题已得到缓解。我们正在持续监控中，以确保稳定性。

Webhooks 正在经历性能下降。我们将持续调查。

Git 操作运行正常。

拉取请求 (Pull Requests) 正遭遇性能下降。我们正在持续调查。

我们观察到在 15:06 UTC 至 15:16 UTC 期间 GitHub 各项服务受到了广泛影响,目前正在调查根本原因。我们看到所有系统正在恢复,稍后将提供进一步更新。

Git 操作正在经历性能下降。我们将持续调查。

Webhooks 正在经历性能下降。我们将继续调查。

Issues 正在经历性能下降。我们将继续调查。

Webhooks 正在经历性能下降。我们将持续调查。