しっかり3連休をいただいてしまいました。

少し間が空いてしまいましたが、また今日から現場です。

休み明けにニュースを見ていると、電力会社やカー用品店の会員システムなど、
大きなシステム障害の話題が続いていました。

ニュースでは「システム障害」の一言で終わります。

でも、そのニュースを見るたびに思い出す出来事があります。

一番堪えたのは、PMになってからだった

システム開発をしていた頃も、もちろん障害対応は経験しました。

当時の障害原因は、ほとんどがヒューマンエラーでした。

• 間違ったプログラムを本番へ反映してしまう。
• 古いプログラムへ戻してしまう、いわゆる「先祖返り」。
• 必要なデータを誤って削除してしまう。
• 設定変更や確認作業を間違えてしまう。

たった一つの操作ミスで、システム全体が止まってしまうこともありました。

ただ、本当に堪えたのは、PMになって初めて任された大型サイトの運用でした。

開発担当の頃は、自分の担当箇所を直すことに集中できました。

でも、PMになるとそうはいきません。

システムだけでなく、現場全体を見なければならなくなります。

障害が起きると、すべてが同時に動く

障害が発生すると、まず原因を調べます。

その一方で、お客様へ状況を説明し、関係するスタッフへ指示を出し、
復旧作業を進めます。

原因を調べる人。

復旧作業をする人。

お客様や関係者へ連絡する人。

それぞれが同時に動きます。

電話は鳴り続けます。

現場は本当に張り詰めた空気になります。

何とか復旧できた。

その瞬間は、確かにホッとします。

でも、PMになって初めて分かりました。

システム障害は、復旧して終わりじゃない。

本当に大変なのは、復旧した後だった

システムが動き始めても、PMの仕事は終わりません。

• 障害が発生した経緯を確認する。
• 原因を調査して整理する。
• お客様へ謝罪し、状況を説明する。
• 被害状況や影響範囲を確認する。
• 経緯報告書を作成する。
• 再発防止策をまとめる。
• 対策が実施されたことを確認する。

そして最後に待っているのが、お客様への報告です。

会議室には重たい空気が流れます。

そこで必ず聞かれる言葉がありました。

「なぜ防げなかった。」

若かった僕には、この一言が本当にきつかった。

厳しく追及され、つるし上げられているように感じることもありました。

本気でそう考えたこともあります。

人を責めるだけでは、何も変わらない

それでも翌日になれば、また仕事は始まります。

逃げるわけにはいきません。

だから、毎回必死に考えました。

人は必ず間違えます。

どれだけ優秀な人でも、疲れていたり、焦っていたり、
思い込んでいたりすればミスをします。

だから、障害を起こした人だけを責めても、根本的な解決にはなりません。

確認手順を見直す。

作業を一人に任せない。

バックアップを取る。

問題が起きた時に、すぐ戻せる状態にしておく。

人がミスをすることを前提に、運用そのものを変えていく。

それが再発防止なんだと、何度も障害対応を経験する中で分かってきました。

技術が進んでも、変わらないもの

今はクラウドがあり、監視システムがあり、AIがプログラムを書く時代です。

僕らが現場にいた頃よりも、便利で安全になった部分はたくさんあります。

それでも、最後に判断するのは人です。

設定を変えるのも人。

確認するのも人。

問題が起きた時に、お客様の前に立つのも人です。

だから今でも、お客様から相談を受けると、
新しいシステムやAIの話より先に、

そんなことを確認するようにしています。

本当に真価が問われるのは、その後

ニュースでシステム障害を見るたびに、若い頃のことを思い出します。

今頃、担当者は原因を調べ、報告書を書き、お客様への説明に
追われているんだろうな。

きっと眠れない夜を過ごしている人もいると思います。

もちろん、システムを一刻も早く復旧させることは大切です。

でも、それだけでは障害対応は終わりません。

何が起きたのかを説明する。

なぜ防げなかったのかを考える。

再発防止策を決める。

そして、決めた対策を本当に実行する。

システム障害は、復旧して終わりじゃない。
会社や担当者の本当の真価が問われるのは、その後どう向き合うかだと、
今でも思っています。