【衝撃体験】客先のシステム組んでテストしてたんだが夜中に定期的にデータが吹っ飛ぶ。原因を究明するために色々やったがダメで、最終手段で客先に泊まりこんだ結果…。

ずいぶん前の話。

昔、SEやってた。
かなり大きなプロジェクトのPL（プロジェクトリーダー）
やってた時の話。

まあいろいろとトラブルもあったが
なんとか乗り越えてお客さんに引き渡した。

その後、オペレーションテスト（客先／本番機で仕事も全て
実際に使用するであろうメンバで行うテスト）を行ったのだが、
なぜかときどき夜中にデーターが吹っ飛ぶ。

決められた時間というわけではないのだが、大体似たような時間帯、
でも日時は不定期。

仮のメンバで仮のデータを入力しているのでなにかがパンクしたということもない。
データセンタはお客さんの自前で、しかもとってもしっかりしたつくり。
飛んだ日の共通点もさっぱり思いつかず。

経験した人ならわかると思うけど、きっかけもない、決められた周期でもない
人も介在していないという障碍はとっても苦労する。

ソフトウェアは全て見直し、ありとあらゆるストレスを与えても解決せず。
インフラの連中は線から機器からすべてやり直しても何にもかわらない。
自前でテストしても全くおこらない。同じ構成でも全くおこらない。

もうコンセントからラックから全て同じにしてみたけど起こらない。
でも、現地に行くと起こる。しかも原因はばらばら。
もう泣きそうになった。

仕方ないので、こうなったら実際の現場を見てやろうと
客先に泊まらせてもらった。