MetaのLlama 4 Scoutが業界最長の1000万トークンコンテキストウィンドウを搭載して登場。Mixture-of-Experts（MoE）アーキテクチャでテキスト・画像・短い動画を処理可能なマルチモーダルモデルとなった。
Llama 4 Scoutは、Metaが2025年4月5日にリリースしたLlama 4ファミリーの一員である。17億のアクティブパラメータ、16のエキスパート、総パラメータ数1,090億を持つMixture-of-Experts（MoE）アーキテクチャを採用している。
最も革新的な特徴は、1,000万トークンという業界最長のコンテキストウィンドウだ。これは約15,000ページのテキストに相当し、単一の入出力インタラクションで処理できる。前モデルLlama 3の128Kトークンから約78倍の拡張となる。
この大幅なコンテキスト長拡張は、2つの技術革新によって実現された。第一に、位置埋め込みを持たないインターリーブドアテンションレイヤー。第二に、推論時のアテンション機構の温度スケーリングである。Metaはこの新アーキテクチャを「iRoPE」と呼んでおり、将来的には「無限」コンテキスト長のサポートを目指す長期目標への重要なステップと位置付けている。
Llama 4 Scoutは256Kコンテキスト長で事前訓練・事後訓練されており、これによりベースモデルに高度な長さ汎化能力が備わっている。
この1,000万トークンコンテキストにより、複数文書の要約、パーソナライズされたタスクのための広範なユーザーアクティビティの解析、巨大なコードベース全体の推論など、これまで不可能だったユースケースが可能になる。