Metaがオープンウェイトモデルの新世代「Llama 4」シリーズとして「Scout」と「Maverick」の2モデルをリリースしました。LlamaシリーズとしてMoE（Mixture of Experts：専門家の混合）アーキテクチャを初めて採用した点が最大の特徴で、マルチモーダル処理にも対応しています。
Scoutは17Bのアクティブパラメータを持ち、業界最大規模となる1000万トークン（10Mトークン）のコンテキストウィンドウを実現。NVIDIAのH100 GPU 1枚にInt4量子化して収まるサイズに設計されており、エンタープライズ環境やローカル環境への展開を強く意識した設計です。Maverickはより高性能なコーディング・推論タスク向けのモデルとして位置付けられています。Metaによると、両モデルはGPT-4oやGemini 1.5 Proと同等以上のベンチマーク結果を示しているとのことです。
r/LocalLLaMAでは「ローカルで動く10Mトークンコンテキストは革命的」との興奮が広がっており、長文書類の分析や大規模コードベースへの適用を試みるユーザーが続出しています。1000万トークンは日本語でおよそ500万文字以上に相当し、長編小説を数冊まとめて文脈に含められる規模です。オープンウェイトモデルとしてHugging Face経由でダウンロードできる点も、研究者・開発者にとっての障壁を下げています。