5月28日、6月6日、7日、スイタウェブにアクセスできない障害が発生しておりました。ご利用の皆様にはご迷惑をおかけしました事をお詫び申します。
原因等が判明しましたので、報告させていただきます。
障害発生時間帯
- 2016年5月28日（土）11:05～17:58
- 2016年6月6日 （月） 6:36～6:58
- 2016年6月7日 （火） 8:30～10:38
※障害調査・対策のためのシステム停止時間一部を含みます。
障害発生ページ
- スイタウェブの全てのページ（http://suitaweb.net/以下すべて）
※当初、影響のなかったページがあったとご案内しましたが、すべてのページが影響していました。
障害の原因
障害が発生した時間帯の直前の夜間に、スイタウェブの画像ファイルを大量に移動するメンテナンスを行いました。そのメンテナンスに使用したプログラムの後処理が、スイタウェブのページ呼び出し件数と連動して増加する傾向があり、アクセスが増え始める時間帯に通常ではありえない規模の処理が実行されようとしていました。
その結果、サーバへの負荷が規制上限に到達し、自動的にシステムが停止し、スイタウェブへアクセスできない障害につながっていました。いずれの障害時も、自動再起動が行われましたが、最初の障害時は、画像ファイルの移動件数が多数にのぼっていたため、復帰後に後処理が再開され、再び規制上限に到達することを繰り返し、完全に復帰するまで長い時間を要しました。
いずれの場合も、後処理の完了をもって、復旧しています。
再発防止策
画像ファイルの移動に用いたプログラムの使用を中止しました。（最後の障害が発生した6月7日に実施）
なお、最後の障害から復帰した直後の6月7日12:00頃に、過去1年間で最大の瞬間アクセス数を記録しましたが、特に問題なく稼働いたしました。
関連リンク
- スイタウェブ アクセス障害について – 第1報 5/28
- 6/6のスイタウェブ アクセス障害についてのFacebook投稿 – 第2報
- 6/7のスイタウェブ アクセス障害についてのFacebook投稿 – 第3報
