スタートアップSubquadraticが2900万ドル（約43億円）のシード資金調達と同時に、商用初の「サブ二次（sub-quadratic）アテンション」アーキテクチャを採用した大規模言語モデル（LLM）「SubQ 1M-Preview」をリリースしました。トランスフォーマーを使わずに1200万トークンのネイティブコンテキストを実現し、フロンティアモデルの5分の1のコストと、従来比52倍の高速アテンション処理を主張しています。
トランスフォーマーアーキテクチャでは、コンテキスト長が増えるにつれて計算量が二乗で増加するため、長文脈処理のコストが高騰するという根本的な課題があります。SubQ 1M-Previewが採用するサブ二次アテンションは、この計算量の増加を抑制する設計で、理論的には以前から知られていましたが、商用スケールでの実用化は今回が初めてとされています。1200万トークンという数値は、一般的な長編小説数十冊分に相当し、大量の文書を一度に処理するエンタープライズ用途で特に威力を発揮すると期待されます。
X上では「トランスフォーマー以外のアーキテクチャで初の商用突破口。長文脈処理コストの問題を根本から解決する可能性がある」として研究者・開発者から広く注目を集めました。一方でRedditのr/MachineLearningでは「ベンチマーク数値より実際の推論品質が問題。フロンティアモデルと本当に比べられるのか」という慎重な評価も多く、オープンソース化を求める声も上がっています。Hacker Newsでは「サブ二次アテンションが実用規模で初めて実証された。これが本物なら業界のゲームチェンジャー」として長時間にわたって議論が続きました。
主要なフロンティアモデルとの品質比較や独立した第三者評価はこれからという段階ですが、コスト効率と超長文脈という二つの課題を同時に解決するアプローチは注目に値します。今後の性能検証と利用者レポートの蓄積が、このモデルの真価を決するでしょう。