MetaのチーフAIサイエンティストを務めたYann LeCun氏が、Llama 4リリース時に発表されたベンチマーク結果を「誇張した（fudged）」と認める発言をしたとSlashdotが伝えています。異なるモデルで異なるベンチマークを計測したという実態が明らかになり、AIベンチマーク全体の信頼性を問う議論が業界全体に広がっています。また、Mark Zuckerberg氏がMetaのGenerative AIチーム全体を事実上解体したと報じられており、同社のAI戦略は重大な岐路を迎えています。
Slashdotの報道によると、LeCun氏はLlama 4の公開時に特定のベンチマークで優れたスコアを示すために、最良の結果を出したモデルのバリアントを選択的に使用したことを認めています。これはAI開発コミュニティで「ベンチマークショッピング」と呼ばれる慣行に相当し、単一モデルの総合的な能力を誤解させるリスクがあります。X上では「AIベンチマーク全体への信頼性を問う声」が一気に広まり、業界全体のベンチマーク慣行を見直すべきという意見が多数投稿されました。
Hacker Newsでは「MetaはもはやオープンソースAIで重要なものを出せない」という悲観的な評価が広がりました。Llamaシリーズはオープンソースモデルの代表格として開発者コミュニティから高い支持を集めてきただけに、この信頼失墜の影響は大きいと言えます。r/MachineLearningでは「これは業界全体の問題」として透明性の欠如を批判する投稿が上位を占め、独立した第三者によるモデル評価機関の設立を求める声も出ています。
GenAIチームの解体報道が事実であれば、Metaの生成AI戦略は大きな転換点を迎えることになります。同社はAR/VRのメタバース事業での苦戦が続く中、Llamaを軸とした研究者コミュニティへの貢献でブランド価値を維持してきた側面があります。今回の一連の出来事が今後のLlamaシリーズのリリースに与える影響は無視できず、オープンソースAIコミュニティ全体が次の動きを注視している状況です。