サンフランシスコのスタートアップGuide Labsが、8Bパラメータのオープンソースモデル「Steerling-8B」を公開した。各トークンの出力を訓練データの起源まで追跡可能な革新的アーキテクチャを採用しており、AI「ブラックボックス」問題の解決を目指している。
Guide Labsは、CEOのJulius AdebayoとチーフサイエンスオフィサーのAya Abdelsalam Ismailが設立したサンフランシスコのスタートアップである。同社はY Combinatorを経て、2024年11月にInitialized Capitalから900万ドルのシード資金を調達している。
Steerling-8Bの核心的なイノベーションは、モデルの埋め込みを3つの明示的な経路に分解するアーキテクチャ設計にある。約3万3000個の教師あり「既知」概念、約10万個のモデルが自己学習する「発見」概念、そして残りをキャプチャする残差の3つである。
この設計により、モデルが生成する各トークンを訓練データの起源まで追跡することが可能になる。これは単にモデルが引用する事実の参照資料を特定するだけでなく、モデルのユーモアやジェンダーに対する理解を分析するような複雑なタスクにも応用できる。
実用面では、この技術により著作権保護されたマテリアルの使用をブロックしたり、暴力や薬物乱用に関する出力をより適切に制御したりすることが可能になる。パフォーマンス面では、Steerling-8Bは新しいアーキテクチャのおかげで、より少ない訓練データで既存モデルの90%の能力を達成できる。