PrismMLが27BモデルをRAM 5.9GBに圧縮——スマホでも動く「小さな高性能LLM」を追求

TechCrunchは、AIスタートアップ「PrismML」が推論性能を保ったまま大幅にモデルを圧縮する技術に取り組んでいると報じました。まだシード資金2,225万ドルを調達した段階の小規模な企業ですが、Caltech出身の研究者チームと著名なアドバイザーを擁し、「高性能な推論モデルは巨大でなくてもよい」という賭けに出ています。PrismMLの最新モデル「Bonsai 2 27B」は、Alibabaの広く使われるオープンソースモデル「Qwen3.8 27B」を、わずか5.9GBまで圧縮したものです。

PCやスマートフォンに載る推論モデルを目指す

PrismMLは、Caltechで圧縮技術の専門家として知られるBabak Hassibi氏が率いる研究者グループによって設立されました。アドバイザーには、Databricksの共同創業者でありUC Berkeleyの著名研究拠点「Sky Computing Lab」のディレクターを務めるIon Stoica氏も名を連ねています。投資家にはKhosla Ventures、Cerberus Capital、Caltechが名を連ねており、Apple社との提携が噂されているとTechCrunchは伝えていますが、Hassibi氏はこの点についてコメントを避けています。

同社が公開したBonsai 2 27Bは、元のQwen3.8 27Bと比べてメモリ使用量を9倍から10倍削減しながら、PCや一部のハイエンドスマートフォンにも収まるサイズを実現しました。ベンチマークの性能比較は次のように推移しています。

• Bonsai(2026年3月公開): Qwenの集計ベンチマークスコアの95%を維持
• Bonsai 2(今回公開): 同スコアの98%まで改善

初代Bonsaiはこれまでに1,100万回以上ダウンロードされており、より小型な派生モデル群も合わせて260万回のダウンロードを記録しているとPrismMLは説明しています。

画像引用元: TechCrunch

「ternary」圧縮という独自アプローチ

同様にLLM圧縮に取り組む企業としては、スペインのDonostia International Physics Centerの研究者が設立したMultiverse Computingが挙げられます。Hassibi氏は、PrismMLの圧縮技術が「元モデルとほぼ同等の性能を保てる点」で独自性があると主張しています。

技術的には、モデルの「重み」を通常の16ビットから、+1・−1・0という3値だけで表現する「ternary(三値)」方式に単純化することで、保存に必要な情報量を大きく減らしています。Hassibi氏によると、ベンチマークで100%のパリティ(完全一致)に到達できるかは今後の課題ですが、実運用上は2%程度の性能差が体感に大きく影響することはまれだといいます。むしろモデルが動作する周辺のソフトウェア(ハーネス)の設計の方が、実際の精度に大きく影響するとも述べています。

PrismMLは今後数か月のうちに、数百億パラメータ規模のより大きなモデルにも同じ圧縮技術を適用する計画です。Hassibi氏は「モデルが大きくなるほど、知能を損なわずに圧縮する余地が増える」と説明しており、大規模モデルほど100%に近いパリティを達成しやすくなるとの見方を示しています。

オンデバイス推論が開く選択肢

Stoica氏は、この技術がAIをローカル端末で動かす未来を後押しする点に期待を寄せています。「手元の端末で高度な知能が無料で使えるようになり、クラウドに送信しない分プライバシーも確保される」と述べています。クラウドAPIを介した推論はレイテンシーや従量課金コストが避けられず、機密データを外部に送りたくない業務でも採用しづらい場面がありました。PrismMLのようなモデルが実用レベルに達すれば、こうした制約を回避できる場面が広がります。

もっとも、圧縮モデルが実際にどこまで複雑なタスクをこなせるかは、公開されたベンチマーク以外の実務的なテストで確かめる必要があります。クラウド推論のコストや通信遅延、プライバシーを気にする開発者にとっては、次期モデル選定の際に軽量な推論モデルという選択肢が現実味を帯びてきそうです。

Source TechCrunch

PrismML hopes its tiny LLM will change how we all use AI

If AI lab PrismML isn't on your radar yet, it should be.