大規模メンテの夜、二人は基幹サービスの移行に入った。DB複製、アプリ切替、DNS変更、監視の再設定。壁のチェックリストには、これまでの夜に増えた項目が並ぶ。容量だけでなくinode、証明書だけでなくIPv6、デプロイだけでなく切り戻し、バックアップだけでなく復元。
開始前、瀬名が作業責任者として対象と中止条件を読み上げ、律が監視責任者として基準値を確認した。二人のほかにも承認者と連絡担当がいる。バディは二人だけで抱える仕組みではなく、必要な人を正しく呼べる最小単位になっていた。
最初の切替後、一部APIだけが500を返した。環境変数の参照先が旧Secret名のままになっている。以前、検証環境のPodを停止させたのと同種の差分だったが、二人はその場で直して押し切らなかった。エラー率が中止条件を越えたため、一度旧環境へ切り戻した。
サービスが安定した状態で差分を修正し、検証環境で同じ成果物を試す。CIの本番承認画面には、対象バージョンと切り戻し先が表示された。瀬名が差分を読み、律が承認する。二度目の切替ではAPI、DB件数、予約処理、外向き通信、監査ログまですべて基準内だった。
午前四時十分、監視が緑へ揃った。二人はすぐ完了にせず、十分間の監視継続と利用者目線の確認を行う。最後に旧環境を停止予定へ移し、作業記録、未解決事項、翌営業日の確認者を残した。
「終わりましたね」と律が言った。
瀬名は完了ボタンを押す前に彼女を見る。「相互確認をお願いします」
律はチェックリストを上から下まで追い、署名した。「確認しました。完了して大丈夫です」
夜勤室を出ると、空は青くなり始めていた。障害がないか端末を見直す癖を二人とも一度だけこらえ、駅前の店へ歩く。
「これはメンテ明けの反省会ですか」と律が聞く。
「いいえ。仕事ではない朝ご飯です」
律は笑い、瀬名の隣へ並んだ。次の稼働日は始まっていたが、二人の予定表には、もう障害名ではない時間が一つ増えていた。
人物紹介
瀬名悠真
- 男性、30代
- サーバ運用・インフラ担当
- 手は動くが、初動で少し焦りやすい
久坂律
- 女性、30代
- 監視、自動化、ログ解析、運用設計に強い
- 冷静で、原因調査の順序を大事にする
