Metaの元チーフAIサイエンティストYann LeCun氏が、同社のLlama 4モデルのベンチマーク結果が「少し水増しされた」と暴露しました。この発言を受け、マーク・ザッカーバーグCEOは「本当に怒り、関係者全員への信頼を失った」とされ、GenAI組織全体が左遷されました。
LeCun氏によると、Metaの研究者たちはLlama 4 MaverickとLlama 4 Scoutの異なるバージョンを各ベンチマークに使い分けることで、より良い結果を得ていたとのことです。通常、研究者は新モデルの単一バージョンを全ベンチマークでテストします。2025年4月のLlama 4リリース前、MetaはAnthropic、OpenAI、Googleに対して後れを取っており、株価がモデルベンチマークに左右される環境の中でLlamaの実力を示すプレッシャーがあったと見られています。
X上では「第三者検証でMetaの公表結果と乖離があり、AI業界全体のベンチマーク信頼性に疑問」との声が上がっています。Hacker Newsでは「LeCun氏の退社とAMI Labs設立の背景が明らかになった」との分析がなされています。LeCun氏自身は「私のような研究者に何をすべきか指図するものではない」と述べ、現在は独自のスタートアップAMI Labsを立ち上げて「ワールドモデル」アプローチを追求しています。
この事件はAI業界全体のベンチマーク文化に疑問を投げかけています。各社が自社モデルの優位性を主張する中、独立した第三者検証の重要性がこれまで以上に高まっています。
| - [Yann LeCun: Meta 'fudged a little bit' when benchmark-testing Llama 4 model | Fast Company](https://www.fastcompany.com/91469583/yann-lecun-meta-llama-4-model-zuckerberg) |
|---|---|
| - ['Results Were Fudged': Departing Meta AI Chief Confirms Llama 4 Benchmark Manipulation | Slashdot](https://tech.slashdot.org/story/26/01/02/1449227/results-were-fudged-departing-meta-ai-chief-confirms-llama-4-benchmark-manipulation) |
| - [Meta's Llama 4 scandal: Why manipulated benchmarks threaten | xpert.digital](https://xpert.digital/en/metas-llama-4-scandal/) |