GitHub 一个月崩 5 次：最长超 10 个小时

2026 年 9 月 9 日，GitHub 发布 2026 年 8 月可用性报告。

5 起事故分别发生在 8 月 6 日、17 日、20 日、26 日和 27 日，GitHub Actions、Issues、Pull Request、Copilot 等服务受到不同程度影响。

8 月 6 日：常规部署触发容量耗尽

8 月 6 日的事故持续 10 小时 42 分钟，主要影响 GitHub Actions，以及依赖 Actions 的 Copilot coding agent、Copilot code review、GitHub Pages、Dependabot 和代码库迁移等功能。

事故由一次 GitHub Actions 内部服务的常规部署触发。

部署过程中，一个数据中心运行中的 Pod 数量短暂减少。

GitHub 表示，部署的代码内容本身并没有问题，真正的问题是相关 Actions 服务此前已经接近容量和并发上限。随着流量转移至其他节点，剩余容量很快耗尽。

随后，服务网格 Sidecar 出现 CPU 限流和内存不足重启，并进一步引发缓存、DNS 和 API 错误。

核心服务开始恢复后，任务分配路径中的一个潜在 Bug 又拖慢了恢复速度。部分 Runner 收到已经失效的任务后不断重试，没有继续领取正常任务，造成任务积压进一步扩大。

GitHub 表示，至少 74 个组织出现 Actions 工作流无法启动、执行中失败或排队时间远超正常水平等问题。

8 月 17 日：流量峰值压垮负载均衡

8 月 17 日的事故持续 7 小时 35 分钟，Issues 和 Pull Request 受到的影响最为明显，REST 和 GraphQL API、GitHub Actions、Copilot、登录认证和 Webhooks 等服务也出现错误或延迟。

事故的直接原因是流量达到新的峰值，令一个数据中心的负载均衡系统超过容量上限。

其中一个服务网格 Sidecar 达到并发限制后没有及时扩容。随着请求不断积压，多台负载均衡节点耗尽网络连接能力，共享认证链路随后出现延迟和失败。

事故期间还存在一个客户端重试 Bug。该 Bug 向一个内部认证接口不断发送额外请求，进一步放大流量压力，也拖慢了 Copilot Token Service 的恢复。

故障高峰期，受影响服务 56.07% 的入口请求失败或响应缓慢。

整个事故期间，约 2.9 万个组织至少遇到一次失败或慢请求，相关请求总量约 480 万次。

GitHub 表示，没有数据丢失。

8 月 20 日：云数据库区域故障拖累 Copilot

8 月 20 日的事故持续 9 小时 54 分钟，主要影响 Copilot cloud agent 的任务状态和结果更新。

Copilot cloud agent 会将每个 Agent 任务的状态和结果存储在一个托管云数据库中。当时，该数据库的一个区域发生供应商侧故障，相关区域的读写请求开始失败或变慢。

随着数据库延迟升高，负责将任务状态写入数据库的处理器无法及时处理数据，积压不断增加。

问题进一步扩大，是因为数据库的一项存储配置导致故障区域切换速度过慢。

GitHub 最初尝试进行区域故障转移，但没有成功，随后只能强制下线故障区域，将任务状态处理迁移至健康区域。

至少 54 个组织受到影响，部分 Copilot cloud agent 任务的状态和结果延迟最高达到 60 至 90 分钟。

不过，Agent 任务本身仍然正常运行并最终完成，没有工作丢失。

受到影响的主要是用户看到的任务状态和结果更新。

8 月 26 日：共享数据库被推到极限

8 月 26 日的事故持续 2 小时 50 分钟，主要影响 GitHub Actions 任务启动，同时波及部分 GitHub Pages 部署和 Copilot code review。

GitHub 共享基础设施服务没有跟上 GitHub Actions 按月增长的业务量和峰值负载。

事故发生在日常流量高峰期间。

当时，一个 Actions 依赖的共享数据库已经接近容量极限，又有一批事件集中进入系统，写入和查询压力迅速上升，数据库主节点最终达到饱和状态。

数据库过载后，负责将事件转换为 Runner 任务的内部服务无法及时处理请求，Actions 任务开始大量排队或无法启动。

故障高峰期，每分钟超过五分之一的 Actions 任务启动失败或严重延迟。

GitHub 表示，至少 24 个组织出现明显的任务启动失败或严重延迟，累计 386 个组织出现了不同程度的任务启动异常。

GitHub 尝试将数据库主节点切换至副本，但只能短暂缓解问题。

事故期间，GitHub 还发现系统没有自动熔断机制，无法在数据库刚出现压力迹象时自动限制进入 Actions 的流量。工程师只能手动调整限流参数，让数据库逐步恢复。

8 月 27 日：Kimi K3 上游供应商故障

8 月 27 日的事故持续 2 小时 8 分钟，影响 GitHub Copilot 中的 Kimi K3 模型。

GitHub 表示，Kimi K3 由一家上游模型供应商提供服务。当时，该供应商出现服务性能下降，导致大量 Kimi K3 请求失败。

事故期间，63.3% 的 Kimi K3 请求失败。

使用其他模型的用户没有受到影响。

使用 Copilot Auto 模式的请求会被路由至其他模型，可正常工作。

GitHub 的上游供应商完成修复后，恢复服务。

GitHub 表示将研究为 Kimi K3 增加备用服务容量，降低单一供应商故障造成的影响。

GitHub 加速扩容

连续发生的故障也促使 GitHub 加快基础设施扩容和向微软Azure 迁移。

8 月 11 日，GitHub 首次在 Azure 上运行生产环境 MySQL 主节点，8 月 27 日又迁移了两个主节点。

GitHub 还将认证核心的 24 张表迁出其最老的共享数据库 mysql1，使相关副本每秒减少约 100 万次查询；其他查询优化又减少约 12 万 QPS。

GitHub Actions 同样获得了新增容量。

通过调整任务路由，GitHub 将 33% 的任务从容量受限的生产集群迁移至空闲资源，使缓存系统峰值 CPU 利用率从 98% 降至 80%。

不过，GitHub 估计，这部分新增容量只能提供约 3 个月的缓冲时间，并强调这只是短期措施，长期仍需要继续扩容并增强不同服务之间的隔离能力。

接下来，GitHub 还将继续迁移数据库主节点，将更多服务和流量迁往 Azure，同时改善共享数据库健康状况，并增加容量管理和自动扩容能力。

GitHub 将当前的基础设施优先级概括为一句话：“可用性，然后是容量，最后才是功能。”

云头条声明：如以上内容有误或侵犯到你公司、机构、单位或个人权益，请联系我们说明理由，我们会配合，无条件删除处理。