ブログを検索

2021/07/10

システム障害対応と鷲合森鉱山跡

本日は土曜日なので会社は休日。岩手県和賀郡西和賀町の「鷲合森鉱山跡」に行く予定だったが、朝起きたら携帯電話が熱くなっていた。システムが何か異常を検知してアラートメールを沢山出したらしい。

メールの内容を確認すると、どうもサーバが自身で生成したデータに異常があると。

自宅から調べてみようと会社のサーバにvpn接続するもなぜかつながらなくなっている。

仕方なく車で会社に向かう。

会社は自宅から20Kmほど離れた隣の市内にある。

主に国道経由で30分ほどで会社に到着。自席の PC からサーバにログインして状態を確認していると計算機クラスタを構成しているスタンバイサーバが機能していることに気がついた。

どうやらサーバのスイッチに失敗して同じシステムが 2つのサーバで同時に稼働している状態みたい。

そもそもサーバは正常に動いているのに何故スイッチしたのか?は置いておき、クラスタの機能を止めてスタンバイサーバを停止する。

1時間ほど掛けて異常になっていた大量のデータを手動でリカバリして対応完了。

会社を出てそのまま今日の目的地「鷲合森鉱山跡」に向かった。この鉱山跡は基本的に石が拾えるところじゃないけど、何か惹かれるものがあって不定期で状況を見に行っている。相当山奥ですが、道の荒れ方は酷くなく普通の車で到達できます。

鷲合森鉱山跡上空から全景を撮影

赤丸に私の車が写っているのでスケール感が分かるかも
これは居住区と選鉱場周辺のようで坑口は画像のずっと上のほうらしい
岩手県和賀郡西和賀町 鷲合森鉱山跡
巨大な矢印のように見えるのは20~30センチくらいに荒く砕いた石を綺麗に積んで作られた謎の矢印で、真東を指している。
こうして見ると、三菱マテリアルの各鉱山跡は、汚染度やらその他事情を勘案して各鉱山跡を閉山処理しているように思えます。この新しいやつは鉱毒対策を超えて鉱山全体を自然へ回帰させるノウハウや技術が詰まっているように感じます。
状況確認と写真撮影出来たので帰宅。いつも思うがここら周辺は鉱山跡の宝庫でいつきても飽きないなあ。
自宅まであと100メートルのところで携帯メールが着信した。自宅駐車場で内容を確認すると、システム自身が異常を検知して安全のため全停止したことを告げるものだった。
またもや会社に向かう。もう車の運転が面倒になって来たので湯沢横手道を使った。
会社に着いて調べてみると確かにシステムが全停止していたが、致命的な状況ではなくそのまま再度起動しても良さそうだったので起動して帰宅した。帰りも湯沢横手道で帰った。

という本日の行動が山中を除いて APRSの軌跡として刻まれていました。
これに懲りて先ほど自宅からサーバにログインできるよう設定を見直しました。
前職では深夜や未明も含めて1日4回出社していたことも有ったのでそれよりはマシかな

0 件のコメント:

コメントを投稿

MySQL で SELECT into outfile 出来なくてハマった件

 Windows上の MySQL で SELECT into outfile で CSVファイルをエクスポートしようとしてハマったので残しておく 環境 Windows10 Pro バージョン 1809 MySQL 8.4.0 という環境で SELECT * FROM table1...