月曜のモデル更新後、ノアは同じ警告へ違う答えを返すようになった。以前は三候補を示したのに、更新版は一つへ絞り、確認手順も短い。回答速度と評価点は上がっていた。
瀬名が過去のテストを再実行すると、二十件中四件で重要な確認が省かれた。提供元は『品質改善』と説明したが、何が変わったかを利用者へ完全には開示していない。アプリのコードと違い、モデル更新は差分を読めなかった。
律は更新前のモデルへ戻せる経路を確保し、評価用の固定ケースを作った。正解率だけでなく、根拠提示、分からないと答える割合、危険操作を勧めないこと、人間への引き継ぎを測る。
二人はノアの回答へモデル版、知識版、ツール版を記録した。昨日の答えと今日の答えが違うとき、『AIがそう言った』ではなく、どの状態のAIが何を参照したか追えるようにする。
更新版は容量予測では優秀だったが、原因調査では断定が強すぎた。用途ごとに採用を分け、全機能を一斉更新しない方針にした。
「成長すれば、前より良くなると思っていました」と瀬名が言った。
律は評価結果を並べた。「変わることと、良くなることは別です。人もAIも、何を良いとするか決めないと」
人物紹介
瀬名悠真
- 男性、30代。サーバ運用・インフラ担当
- AIの有用性を率直に評価しながら、判断を預けすぎない運用を学ぶ
久坂律
- 女性、30代。監視、自動化、ログ解析、運用設計に強い
- 肩上のレイヤードボブ。AIを監査可能な仕組みへ変えていく
真壁紗英
- セキュリティ責任者。導入効果とリスクを同じ資料で扱う
ノア
- ログ要約、予兆検知、手順候補を担う運用支援AI
- 単一の人格ではなく、モデル、知識、ツール接続からなるシステム
