Microsoftは11月15日付の暫定報告書で、Microsoft 365の大規模障害を引き起こした原因と、複数地域に被害が広がった経緯を明らかにした。各サービスへの接続を受け付けるネットワークゲートウェイで、Teamsの通信がExchange Onlineも利用する主系に切り替わり、負荷とリクエストの内訳が変化した。米国の利用がピークを迎える時間帯にサーバーが応答を失い始めると、稼働中のサーバーに通信を振り分ける仕組みが、かえって障害を拡大させた。報告書が定めた障害期間は日本時間11月13日1時20分から14日1時10分までの23時間50分で、影響の程度は地域や接続方法、時間帯によって異なった。
Teamsの切り替えから障害まで15時間13分
Microsoftが作成した暫定障害報告書(PDF、公開ミラー)によると、Teamsの通信が主系ゲートウェイに切り替わってから、正式な障害開始時刻までは15時間13分あった。対応記録では、Teamsの自動切り替えが行われたのは11月12日10時7分(同日1時7分UTC)。一方、障害開始時刻には、Exchange Onlineへの影響を示す優先度の高いアラートが発生した13日1時20分(12日16時20分UTC)が採用された。この間、主系の負荷は徐々に増加しており、アラートの発生前から一部地域でサーバーの障害が散発的に起き、自動復旧処理が作動していた。
Microsoft 365には、構成の異なる独立したゲートウェイが2系統ある。障害時にはサービスの通信を系統間で切り替えられる設計で、Teamsが代替系から主系に移ったこと自体は通常の運用の一部だった。しかし、Teamsの通信が流入したことで主系の負荷が増え、処理するリクエストの内訳も変化した。さらに、主系では前日に発生した別の問題によって、サーバーの処理容量の約14%が利用できない状態が続いていた。それまでは残りの処理能力で負荷を吸収できていたが、米国の利用がピークを迎える時間帯に余力が不足した。
直接の原因は、接続処理を担うWindows内部のプロセスに存在した「ロック競合」の不具合だった。複数の処理が同じ排他ロックを取得しようとして待ち状態に陥り、特定の負荷条件下ではCPUとメモリを使い切ってしまう。その結果、要求が滞留してサーバーが応答を停止した。問題の修正コードはMicrosoft 365のゲートウェイ専用で、2026年7月から数週間かけて段階的に適用されていたが、その後3カ月以上にわたって不具合は表面化していなかった。
Microsoftによると、試験環境と本番環境では通信の内訳やサーバーの機種構成が異なっていた。負荷試験では主に処理能力が低く、CPUコア数の少ない機種を使用していたが、今回のロック競合は、コア数が多い新しい機種ほど深刻になったという。負荷試験を実施していても、同時に処理される要求の組み合わせやハードウェアの構成が異なれば、本番環境と同じ競合が発生するとは限らない。
サーバーを守る通信の再配分が障害を連鎖させた
11月13日1時3分、Microsoftの監視システムは利用者側で接続異常が増えていることを検知した。1時17分には、応答しなくなったサーバーから正常なサーバーへ、通信を自動的に振り分け始めた。通常であれば、一部のサーバーが停止してもサービスへの接続を維持できる仕組みだ。しかし今回は、通信を引き受けたサーバーでも負荷が増すと同じ不具合が発生し、残ったサーバーにさらに通信が集中する悪循環に陥った。
4時20分の時点で運用チームは、稼働サーバーが減少し、残ったサーバーに通信が集中したことが過負荷の原因だと判断した。障害の連鎖は2時間足らずで広がり、最悪時には問題が発生したゲートウェイでサーバーの80%超が応答しなくなった。なお、障害前から失われていた約14%は処理容量の割合であり、80%超は障害の連鎖によって応答を失ったサーバー台数の割合を指す。GoogleのSRE運用文書でも、停止したサーバーの通信を正常なサーバーに振り分けた結果、受け手が過負荷となり、稼働できるサーバーがさらに減っていく連鎖障害が解説されている。
今回のゲートウェイは、ハードウェアやネットワーク資源、処理容量を持つ数千の区画を地域ごとにまとめて管理している。Azure Architecture Centerが解説する隔離設計(Bulkheadパターン)では、処理資源を複数のグループに分けることで、一部の区画に障害が起きても、ほかの区画への影響を抑えられる。ところが今回は、別の問題によって区画間の隔離が十分に機能せず、サーバー障害の連鎖が地域をまたいで広がったとMicrosoftは説明している。
Exchange Onlineはなぜ別経路に切り替えられなかったのか
TeamsやOneDrive、SharePoint、Officeアプリなどは、問題のあるゲートウェイから通信を移すことで、一部の機能を先行して復旧できた。Teamsのチャットと会議は、障害期間の大半で利用できていた。一方、Exchange Onlineはサービスの規模が大きく、同様の切り替えができなかったとMicrosoftは説明している。OutlookやWeb版など、複数の接続方法で多くの利用者がメールボックスにアクセスできなくなり、メールの配送にも遅延が生じた。TeamsやCopilotなどでも、Exchange Onlineに依存する機能が影響を受けた。
障害終盤の14日0時5分までに、Microsoftは切り替え条件を満たす顧客の通信を代替経路へ移し終えた。これによって、影響を受けた地域ではサインインや各サービスへのアクセスがさらに改善した。ただし、Exchange Onlineをサービス全体で安定して復旧させるには、ゲートウェイの接続処理を修正し、通信を処理できるサーバーを復帰させる必要があった。
障害はMicrosoft 365を利用する組織の実務にも影響した。英国のNHS Supply Chainによる報告では、倉庫や輸送は通常どおり稼働していたものの、新規注文や一部の搬入連絡に支障が出た。在宅配送サービスでは、患者の紹介書の受け取りも遅延した。同組織は、メールで注文を受け取る供給業者に対してポータルから注文書を取得するよう案内し、顧客や業者との連絡には必要に応じて電話を利用するとした。英国時間13日午後の更新では、外部からの連絡が届き始めたものの、滞留分が残っている可能性があると説明。16日には外部からの連絡を正常に受信できる状態に戻ったと報告した。
再起動したサーバーが再び停止、復旧にはコード修正が必要に
Microsoftは13日5時、サーバーを通信の振り分け先として利用できるか判定するヘルスチェックに問題を起こしていたとみられる構成要素を迂回した。6時には一部のサーバーで別の方法に切り替え、対象をいったん運用に戻した。しかし、7時の時点で監視データから一連の対応が全体の復旧につながっていないことが判明した。8時55分には、サーバーが復帰直後は正常に動作しても、通信を受け付けると再び応答しなくなることを確認した。起動直後に応答できていたサーバーも、滞留していた通信を引き受けると処理能力を使い切ってしまった。
調査チームは、接続を確立する処理でロック競合が発生していることを突き止めた。10時53分には通信の自動再配分の一部を停止し、流量を抑えるなどの対策によって一部地域で状況が改善したものの、安定した復旧には至らなかった。通常の自動復旧機構は、これほど広範囲のサーバーが応答しなくなる事態を想定していなかった。また、原因となった修正は数カ月前に適用されていたため、通常のロールバックや段階的な配信、機能の有効・無効を切り替える設定では、問題をすぐに解消できなかった。
最終的にMicrosoftは、接続処理を以前の正常な動作に戻すコード更新を作成した。13日16時20分に一部のサーバーへ適用し、17時に安定動作を確認した後、業務時間帯に入る地域などを優先して適用範囲を広げた。対象のサーバー群をいったん運用から外し、更新を適用して再起動したうえで、再び通信を受け付ける状態に戻した。14日1時10分には利用者への直接的な影響が解消したことを確認し、その後も滞留メールの配送を進めながら稼働状況を監視した。障害ID「EX1550543」と「MO1550821」の顧客向け最終更新は、同日13時15分に公開された。
11月20日の最終報告で問われる地域間の隔離
Microsoftは、配送が遅延したメールが配信不能として差し戻されないよう、配送の猶予期間を延長した。復旧を支えるために処理容量も追加し、通信の再配分や接続処理に関する監視を強化した。さらに、通信の振り分けによって障害が連鎖するのを防ぐため、再配分に制限を設けた。
暫定報告書では、区画間の隔離が障害の連鎖を防げなかった具体的な原因や、前日から続いていた処理容量の不足との関係は明らかにされていない。通信の振り分け条件、ロック競合が顕在化する負荷の水準、地域別のサーバー台数や利用者数も公表されていない。修正項目の詳細を含む最終報告書は、11月20日に公開される予定だ。本番環境の通信の内訳を多コアのサーバーで再現した際、一部の区画で障害が発生しても、振り分け先のサーバーが処理を継続し、影響を区画内に封じ込められるかが、隔離設計の実効性を判断する材料となる。
