昼のピークだけDBが `Too many connections` を返した。瀬名は上限値を増やす案を出したが、律は接続元ごとの本数と保持時間を測った。Webアプリが接続を使い回さず、同時刻の管理バッチも長いトランザクションを抱えている。
上限だけを上げれば、次はメモリかI/Oが先に尽きる。二人はバッチ時刻をずらし、アプリに接続プールを設定した。プールの最大数はアプリ台数とDBの余力から逆算し、待ち時間とタイムアウトを別々に監視する。
負荷試験では、要求が上限を超えると無制限に接続を作らず、短い待ち行列へ入った。利用者の応答は少し遅くなるが、DB全体が倒れることはない。瀬名は「待たせない設計より、壊さず待てる設計ですね」と結果をまとめた。
律は試験グラフを保存し、週末の最終メンテ手順へ接続数の確認を加えた。そのとき、過去の障害資料をまとめた封筒が鞄から見えた。
「準備、できましたか」
「まだ怖いです。でも、怖くなくなるまで待つと、たぶん話せません」
瀬名は期限を早めず、延期もしなかった。待つ側と話す側が同じ予定を見ている。それだけで、沈黙は以前とは違うものになっていた。
人物紹介
瀬名悠真
- 男性、30代
- サーバ運用・インフラ担当
- 手は動くが、初動で少し焦りやすい
久坂律
- 女性、30代
- 監視、自動化、ログ解析、運用設計に強い
- 冷静で、原因調査の順序を大事にする
