OpenAIは、新モデルのリリース前に過去の実ユーザー会話（約130万件）を新モデルで再生し、挙動のズレを自動検出するシステム「Deployment Simulation」を発表しました。合成テストデータやベンチマークでは発見できない実環境固有の問題を事前に洗い出すことを目的としており、GPT-5.1のテストでは「ブラウザをコードを書かずに電卓として使用する」という想定外の誤挙動を実際に発見した事例が紹介されています。
このシステムが解こうとしているのは、「評価ギャップ」と呼ばれる問題です。国際AI安全報告書2026が指摘するように、ベンチマーク上で優れたスコアを示すモデルが、実際のユーザー対話では予期せぬ挙動を示すケースは珍しくありません。AI安全性研究者からは「実環境でのモデル動作乖離問題への実践的アプローチ」として高い評価が寄せられており、X上でもポジティブな反応が目立ちます。GPT-5.1で発見された「計算機ハッキング」とも呼ばれる事例はHacker Newsでも興味深い具体例として取り上げられ、アライメント検証の困難さに関する技術的議論を呼び起こしました。
Redditでは「合成データより実ユーザーの会話を使う手法は正しい方向」という肯定的な評価が多い一方、130万件もの会話データの再利用についてプライバシー面を懸念するコメントも一部見られました。ベンチマーク競争が激化する中で、実際の展開環境に近い形でのモデル評価手法の重要性は増しており、OpenAIのこのアプローチは業界標準になる可能性もあります。