Caltechの研究者が創業したスタートアップPrismMLが、1,625万ドルのシード資金を調達しステルスモードから表舞台に登場しました。同社が公開した「Bonsai 8B」は、メモリ使用量わずか1.15GBで動作する1ビットLLM（大規模言語モデル）で、Apache 2.0ライセンスで商用利用が可能です。従来の全精度モデルと比較して14倍軽量・8倍高速・5倍省電力を達成しており、商用利用可能な1ビットLLMとして業界初のリリースとなります。
通常のLLMは重みを16ビットや32ビットの浮動小数点数で保持しますが、1ビット量子化はそれを「-1」か「+1」の2値に圧縮します。これにより、従来8Bパラメータのモデルが通常16〜32GB程度のメモリを必要とするところ、Bonsai 8Bはわずか1.15GBで動作します。PrismMLによると、Bonsai 8BはBitNetアーキテクチャをベースに、モデル精度の低下を最小化する独自のトレーニング手法を組み合わせた結果、ベンチマーク上で従来の4ビット量子化モデルと遜色ない性能を示しているとされています。
X上では「ついに1ビットLLMが実用段階に入った」という歓迎の声とともに、プライバシー保護のためのオンデバイスAIとしての可能性を評価するコメントが相次ぎました。Redditのr/LocalLLaMAでは、実際にRaspberry PiやiPhoneで動作させた報告が早速集まり、エッジAI新時代の到来を実感するスレッドが盛り上がっています。Hacker Newsでは「クラウドAIの巨大な設備投資に依存しないビジネスモデルへの挑戦」という視点での議論が活発に行われました。
Bonsai 8Bが実現する「スマートフォンや低スペックデバイスでの8Bモデル動作」は、AIアシスタントのオフライン利用やプライバシー重視の個人向けアプリケーションに大きな可能性をもたらします。医療・教育・行政など、クラウドへのデータ送信が困難な用途でのAI活用を後押しするでしょう。一方で、1ビット量子化の性能限界や長文推論タスクでの精度についての独立した検証はまだ限られており、実用評価は今後の課題です。Apache 2.0での公開は、研究者・企業・個人開発者による活発な改善が期待され、1ビットLLMエコシステムの急成長を促す起点になりそうです。