Metaはオープンソース大規模言語モデルシリーズの最新版「Llama 4」を発表しました。Llama初のMixture-of-Experts（MoE: 混合専門家）アーキテクチャを採用し、旗艦モデル「Scout」は17Bのアクティブパラメータと16の専門家モジュール・総パラメータ109Bという構成で、1,000万トークンのコンテキストウィンドウとネイティブマルチモーダル対応を実現しています。
MoEアーキテクチャの最大の利点は「パラメータの選択的活用」にあります。通常の密結合型モデルが全パラメータを毎回使用するのに対し、MoEでは各推論時に16の専門家モジュールのうち一部だけを活性化させます。Scoutの場合、総パラメータは109Bですが1回の推論で動かすのは17B分だけであるため、同等性能の密結合型モデルと比べて計算コストを大幅に削減できます。1,000万トークンのコンテキスト（文庫本約100冊分に相当）は現時点でオープンソースモデル最大級であり、長文書分析・大規模コードベースの理解・長期会話履歴の保持といった用途で実質的な差別化要因となります。Metaによると、ネイティブマルチモーダル対応により画像・動画・テキストをシームレスに扱えるとしています。
Redditのr/MachineLearningでは、MoEの効率性とロングコンテキストの組み合わせを「技術的に理想的」と高評価する一方、個人開発者からはハードウェア要件の高さへの懸念も表明されています。Xでは「1,000万トークンのコンテキストは実用上どう使うのか」という技術的議論が活発で、AIエージェントへの応用例を試す投稿が多数見られます。
Llama 4はMoEの計算効率と超長期コンテキストを組み合わせることで、ローカル実行とクラウド実行の双方における実用性を高めています。ただし109B規模のモデルをフル活用するには相応のGPUメモリが必要であり、ローカル実行のハードルは依然として高いといえます。それでも、これほどの規模と能力を持つモデルがオープンソースとして公開されることは、AIエコシステムの民主化という観点で大きな意味を持ちます。