画像生成ワーカーがCPUを使い切り、通常のWeb処理まで遅くなった。監視画面では、同じジョブIDが失敗と再投入を数百回繰り返している。入力画像が壊れているのに、失敗回数の上限がなかった。
瀬名はワーカーを全停止しようとしたが、律は正常キューと異常キューを分けた。問題のジョブを隔離し、新規受付を一時停止してから、処理中ジョブが安全に終わるのを待つ。利用者へ遅延を告知し、再開条件を明文化した。
修正では最大試行回数と指数バックオフを導入し、上限を超えたジョブをdead letter queueへ移した。失敗理由、入力のハッシュ、最後の例外を保存し、人が確認してから再投入できるようにする。
「諦める箱ではないんですね」と律が隔離一覧を見た。
「同じやり方で傷を増やさないための待合室です」
瀬名の答えに、律は少し笑った。過去の失敗を何度も頭の中へ戻す彼女にも、別の扱い方があるのかもしれない。けれどそれを口にするのは、付箋の番号を話す約束のあとでよかった。
ワーカー再開後、正常ジョブは一度ずつ処理され、壊れた入力だけが理由つきで隔離された。失敗を消さず、暴走させず、次の判断へ渡す設計ができた。
人物紹介
瀬名悠真
- 男性、30代
- サーバ運用・インフラ担当
- 手は動くが、初動で少し焦りやすい
久坂律
- 女性、30代
- 監視、自動化、ログ解析、運用設計に強い
- 冷静で、原因調査の順序を大事にする
