后室中文数据库状态页 - Actions 作业延迟 – 故障详情

Actions 作业延迟

已解决性能下降3 小时 9 分钟

受到影响

GitHub

性能下降 从 2:47 PM 至 3:10 PM, 运行正常 从 3:10 PM 至 3:20 PM, 性能下降 从 3:20 PM 至 5:56 PM

  • 已解决UTC

    2026年10月1日,GitHub Actions 在 GitHub 托管的运行器上经历了两段任务启动延迟和失败的时期,始于大约 14:15 UTC。在 14:15–17:56 UTC 的事件响应窗口期间,约 0.68% 的工作流运行遭遇启动延迟,0.196% 的任务启动失败。

    我们云服务提供商的一项路由变更将 API 流量集中到了单一后端,导致速率限制错误增加。该提供商库存服务中不正确的重试行为给受影响的 API 增加了负载,加剧了速率限制问题。这干扰了运行器的配置分配,并降低了受影响区域的可用容量。未受影响区域随之而来的需求增加暴露出我们任务分配系统中的一个并发限制,即使在有可用运行器的情况下也导致任务延迟。

    在响应过程中,我们提高了任务分配的并发量,扩展了运行器容量,并与云服务提供商合作,通过将我们的运行器订阅从其库存服务中排除来降低 API 负载。到大约 16:15 UTC 时,任务已恢复按预期启动和执行。我们持续进行缓解和监控,直至该事件于 17:56 UTC 解决。

    此后,我们的云服务提供商已为我们的工作负载提高了资源管理 API 的速率限制。为降低类似事件发生的可能性及其影响,我们还将增加更细粒度的速率限制告警,并更新我们的任务分配系统,以应对在可用区域减少情况下需求增加的问题。

  • 更新UTC

    由于上游 Azure 依赖项的限流问题,GitHub Actions 的部分托管运行器出现性能下降。服务容量已恢复,我们将继续监控,同时与 Azure 一起解决根本问题。

  • 更新UTC

    我们目前正在应用缓解措施,预计将在三十分钟内恢复。

  • 更新UTC

    我们已确认上游服务提供商存在问题,该问题导致 Actions 请求返回 429 错误,从而造成延迟。我们已将此问题上报给负责团队,并正在调查如何缓解 429 错误。

  • 更新UTC

    我们再次发现运行启动延迟的问题,并将持续调查此问题。客户可能会遇到最长十分钟的延迟。

  • 调查中UTC

    Actions 正在经历性能下降。我们将继续调查。

  • 持续监控中UTC

    影响 Actions 的性能下降问题已得到缓解。我们正在持续监控以确保稳定性。

  • 更新UTC

    Ubuntu 运行器的运行启动延迟问题已解决。我们正在调查 Windows 运行器的运行启动延迟问题,一旦有更多信息将及时分享。

  • 更新UTC

    我们已确认导致 Ubuntu 运行器上 Actions 运行启动延迟增加的原因,目前正在积极部署修复方案。在缓解措施推出并且服务指标恢复正常期间,客户可能会继续遇到间歇性延迟。

  • 调查中UTC

    我们正在调查有关 Actions 性能下降的报告