スタートアップのZyphraが、AMD GPUのみを使用してエンドツーエンドで訓練したMixture-of-Experts（MoE）モデル「ZAYA1-8B」をApache 2.0ライセンスで公開しました。総パラメータ数は80億ですが、実際にはトークンごとに約7.6億パラメータが選択的に有効化されるMoEアーキテクチャにより、フル活性化モデルと比べて高い計算効率を実現しています。
注目すべきはNVIDIAのCUDAエコシステムを一切使用せず、AMD ROCmプラットフォームのみで大規模モデルの訓練を完遂した点です。X上では「NVIDIAに依存しないAI訓練インフラの実証例として重要。AMDのAI市場シェア拡大にとっても象徴的な事例」という評価が広まりました。AIモデル訓練はGPU市場においてNVIDIAがほぼ独占的な立場を持ちますが、ZAYA1-8Bの登場はその前提に一石を投じた事例として業界関係者の注目を集めています。
r/LocalLLaMAでは「Apache 2.0ライセンスでMoEアーキテクチャ、商用利用可能かつ実用的な知能効率を持つ数少ないモデルのひとつ」として活発なダウンロード報告とベンチマーク結果の共有が相次ぎました。Hacker Newsでも「AMD ROCmエコシステムの成熟度が上がってきた証拠。NVIDIA独占体制に対するオープンな選択肢として歓迎する」という反応が多数見られ、オープンソースコミュニティでの受け入れは非常に好意的です。
ローカルLLM活用の観点でも、MoEアーキテクチャは推論時の消費メモリを抑えられる利点があり、コンシューマー向けAMDグラフィックカードでの動作実績が蓄積されていけば、NVIDIA非保有ユーザー層への普及も期待されます。NVIDIAへの依存度を下げたいクラウドプロバイダーや研究機関にとっても、実績あるオープンソース選択肢の登場は歓迎すべき動きといえます。