Googleが、AIモデルの推論（入力に対して出力を生成するプロセス）時のメモリ要件を最大6分の1に削減できる新たなAI圧縮アルゴリズム「TurboQuant」を発表しました。フロンティアレベルの性能を維持しながらメモリ効率を劇的に高めることができるとされており、データセンターのAIインフラコスト大幅削減につながると期待されています。
TurboQuantは量子化（Quantization）と呼ばれる技術カテゴリに属するもので、AIモデルの重みパラメータをより少ないビット数で表現することでメモリ使用量を圧縮します。従来の量子化手法は精度の低下を招きやすかったのに対し、TurboQuantはフロンティア性能を維持したまま6分の1というメモリ削減を実現していると主張しています。Googleによると、これにより同一のGPUメモリでより大きなモデルを動かせるようになり、あるいは同じモデルをより安価なハードウェアで動かせるようになります。
Redditでは「コスト削減の恩恵が中小企業にも届く可能性がある」という肯定的な反応が多い一方、ベンダーロックイン（特定企業の技術に依存してしまうリスク）を懸念する声も出ています。TurboQuantがGoogleのTPU（テンソル処理ユニット：AI計算専用のプロセッサ）に最適化されている場合、Nvidiaや他のハードウェアでは同様の効果が得られない可能性があるためです。X（旧Twitter）のAI研究者コミュニティでは、1ビットLLM（後述）とTurboQuantを組み合わせた場合の相乗効果について技術的な考察が広がっており、「理論上は100分の1以下のメモリで最先端性能が出せるかもしれない」という試算も出ています。
AI推論に必要なメモリの削減は、単純にインフラコストを下げるだけでなく、オンデバイス推論（スマートフォンや組み込み機器での処理）の可能性を広げます。現在、フロンティアモデルの推論には数十から数百GBのGPUメモリが必要であり、これが大規模なクラウド依存を生む要因の一つです。TurboQuantのような圧縮技術が普及すれば、エッジデバイスでの高品質なAI処理という将来像に大きく近づくことになります。業界全体のコスト構造に影響を与えうる技術として、今後の実用化動向が注目されます。