GoogleのResearchチームが、大規模言語モデル（LLM）の推論における主要なボトルネックの一つ「KVキャッシュ」のメモリ使用量を大幅に削減する新アルゴリズム「TurboQuant」を発表しました。PolarQuantとQuantized Johnson-Lindenstrauss（QJL）という2段階のプロセスを組み合わせたことで、精度を維持しながらキャッシュの圧縮率を向上させることに成功しています。
LLMがテキストを生成する際、各トークンの処理に必要な「Key」と「Value」の情報をメモリ上にキャッシュする仕組みがKVキャッシュです。特にコンテキスト窓が長くなるほど（100万トークン対応モデルが登場している現状では）、このキャッシュが占めるVRAMの量は膨大になり、推論スループットの低下やコスト増加を招きます。TurboQuantが解決しようとしているのは、まさにこの「量子化（データの低精度表現）によってKVキャッシュを圧縮しながらも、精度の劣化を最小限に抑える」という課題です。
2段階アルゴリズムのうち、PolarQuantは「ベクトル回転」によってKVキャッシュデータを量子化しやすい形に変換し、QJLがその圧縮を実際に行います。X上では「LLM推論コストの実質的削減に直結する研究」として、モデルを大規模展開するエンジニアから高い関心を集めています。r/MachineLearningでは数学的詳細への議論が活発で、既存の量子化手法（AWQ、GPTQなど）との比較や実装複雑性への質問が多数寄せられています。
Hacker Newsでは「推論コスト削減はAIサービスの経済性に直結する」という観点から実務エンジニアの関心が高く、オープンソース実装の公開を求める声も上がっています。LLMの長文脈対応が進む中、KVキャッシュの効率化は業界全体の課題であり、Googleのこの研究が実際のプロダクション展開でどの程度の効果をもたらすか、実装の公開と検証が待たれます。