東証のシステム障害の原因は「見落とし」

　東証で2020年10月1日に発生したシステム障害では、すべての銘柄の売買が終日停止した。株式の売買高は1日平均で3.0兆円（2019年度）に及ぶ規模であり、経済全体への世界的な影響は非常に大きいものだった。11月30日には、この責任を取る形で東証の宮原幸一郎社長が辞任を表明するに至った。

　すでに多くのメディアで紹介済みだが、東証のシステム障害の原因は、株式売買システム「arrowhead」に設置したNAS（ストレージ）のメモリが故障した際に、自動で切り替わるはずのアクティブ・アクティブ構成のバックアップシステムが機能しなかったというものである。

　原因は、提供されたNASに添付されたマニュアルに不備があったことにある。2010年の初代arrowhead 稼働後、2015年にarrowheadの全面刷新によってNASの自動切り替えに関する仕様が変わった。これに対応して、参照するマニュアルを変更し、設定値を変える必要があったが、実に5年間にわたって見落としていたのである。


　もう1つ、2020年を代表するシステム障害が同じ時期に起きている。不正出金の被害額が5000万円に上ったといわれる、NTTドコモのキャッシュレス決済関連の不正出金事件である。ドコモ口座やゆうちょ銀行口座などの仕組みを悪用したものである。

　事件の発覚を受け、ゆうちょ銀行と連携する10に及ぶサービスが連携を停止した。被害にあったサービスの共通点は、二要素認証が未導入だったこと。このため、名前、生年月日、口座番号、キャッシュカードの暗証番号をなんらかの方法で手に入れれば、第3者が本人になりすまし、ゆうちょ銀行の口座と決済サービスを連携できる状態にあった。現金を扱うシステムに実装するには個人認証の発想があまりに甘かった。

意図的に障害を盛り込む「カオスモンキー」とは？

　東証の親会社である日本取引所グループ（JPX）が設置した独立社外取締役で構成する調査委員会は11月30日、（arrowheadのスローガンとしての）ネバーストップというスローガンにこだわり過ぎて取引注文を止めるのが遅れたとの見解を表明。

　一方で、5年間も設定変更を見落としたというのだから、なかなか納得しにくい。取引を決して止めないという思いが被害につながったとの説明に、多少の恩着せがましさを感じた人もいるのではないか。

　IT領域において間違いなく日本の先を走る米国では、ある意味でもっと「懐の深い」発想でシステム開発が進められている。

　その1つが「カオスモンキー（Chaos Monkey）」という考え方である。「カオスエンジニアリング」とも呼ぶこの手法は、本番稼働するシステムに対して故意に障害を起こし、すぐに自動復旧させるという取り組み、もしくはそれを実現するソフトウエアを指す。

　サーバ停止やレスポンスの遅延などを本番環境に起こすことで、実際の障害の発生に備えるというものである。試験環境でなく、あえて本番でこれを実施することで、本番環境の可用性を高めようという発想である。もちろん、本番環境に障害が発生してもビジネスが停止しないように、冗長化を図っておく。

　カオスモンキーを導入した企業としてよく知られているのが、動画配信サービスを提供する米Netflixである。Netflixは2012年の時点ですでに「予期できない重大なシステム障害を防ぐための最善の防御策は頻繁に失敗し、練習と適切な計画を重ねること。これがより回復力のある方法でサービスを構築できる」と説明している。

　Netflixは、週に1000回以上にわたり自社のネットワークを攻撃するソフトウエアを開発し、Netflixユーザーが気づかないような小さな障害から回復させることを自社のエンジニアに課した。このソフトウエアをカオスモンキーと呼び、ソースコードをGitHubにリリースしたことが始まりとなった。

　ちなみに、カオスモンキーの名前は、データセンター（またはクラウドリージョン）で武器を使って野生の猿を放ち、インスタンスをランダムに撃ち落とし、ケーブルをかみ砕くというアイデアに由来しているとNetflixは説明している。

　カオスモンキーは具体的に、NetflixがAmazon Web Services（AWS）のオートスケールサービスで動作する仮想マシンに対して、ランダムに障害を起こす。Netflixのエンジニアはカオスモンキーが引き起こす驚きによって鍛えられているため、原因を切り分け、障害が2度と起きないように解決できるという。

【次ページ】日本企業が取り組むべき障害回避策