AIスタートアップのSubquadraticが2,900万ドルのシードラウンドを完了し、コンテキスト窓1,200万トークンを持つ新アーキテクチャLLM「SubQ」の開発を進めていることが5月5日に発表されました。同社が解決を目指すのは、現在主流のTransformerアーキテクチャが抱える根本的なボトルネック——入力トークン数が増えると処理コストが二乗（O(n²)）で膨らむ問題です。
TransformerのSelf-Attentionは、全トークン同士の関係を計算するため、コンテキスト長が2倍になるとメモリ・計算量が約4倍に膨張します。SubQはこれを「サブクアドラティック（準二乗）スパースアテンション機構」によって解消し、1,200万トークンという通常のLLMの10〜100倍規模のコンテキストを現実的なコストで処理することを目標としています。実現すれば、書籍1冊や長大なコードベース全体を一度に処理するようなユースケースが実用域に入る可能性があります。
X上では「Transformerの二乗コスト問題への本格的な解法が来た」「1,200万トークンが現実になると何が変わるか」という期待の声が研究者コミュニティで広がっています。一方Redditのr/MachineLearningでは「サブクアドラティックアテンションはSSM（状態空間モデル）などで以前も試みられたが実用品質への到達は難しかった」という慎重な評価も見られます。Hacker Newsでは「シード段階での2,900万ドルはアーキテクチャへの強い信頼の表れ。成功すれば業界全体のコスト構造が変わる」というコメントが注目を集めています。
長いコンテキストウィンドウは、法律文書の精査・大規模コードリポジトリの一括解析・長期プロジェクト管理など、現在LLMが苦手とする領域のボトルネックを直接解消します。ただし、サブクアドラティックアテンションがTransformerと同等の表現能力を持てるかは学術的に未決の問いでもあり、SubQの実際の性能は今後の発表を待つ必要があります。