Liquid AI、視覚言語モデル向け投機的デコード「LFM2.5-VL-DSpark」公開——H100で最大20倍の高速化

Liquid AIは、同社の30億パラメータ視覚言語モデル「LFM2.5-VL」の推論を高速化する実験的なドラフトモデル「LFM2.5-VL-DSpark」をHugging Face上で公開しました。投機的デコードと呼ばれる手法を視覚言語モデルへ初めて適用したもので、出力品質を変えずにメモリ消費のわずかな増加と引き換えに大幅な速度向上を得られるとしています。テキストのみのモデルでは投機的デコードの活用が広がりつつありますが、画像入力を伴うモデルへの応用はまだ事例が少なく、今回の公開は実運用に向けた具体的な一歩といえます。

画像トークンとテキストトークンを共通表現で扱う設計

投機的デコードは、軽量な「ドラフトモデル」が候補となるトークン列を先に予測し、本体の大きなモデルがそれをまとめて検証することで生成を高速化する手法です。LFM2.5-VL-DSparkでは、視覚用のドラフターが対象モデルの隠れ状態を受け取り、それを条件として候補トークンを予測します。画像パッチとテキストトークンは共通の表現空間に射影されるため、視覚的な質問応答やOCRを伴う質問応答、画像キャプション生成、グラフの読み取り、複数ターンの会話といった多様なタスクに対応できる設計になっています。

画像引用元: Hugging Face Blog

計測された速度向上とモデル構成

公開された計測結果によると、デコード速度の向上幅はApple製シリコン上のMLXで2.30倍から3.13倍、M3 UltraのCPU上で動くllama.cppで1.57倍から2.14倍、H100 GPUでは2.66倍から最大20.4倍に達したとしています。エンドツーエンドでの改善幅もM5 Maxで1.56倍から2.62倍、M3 Ultraで1.30倍から1.77倍、H100で1.64倍から2.27倍と報告されています。ドラフターは4層のアテンションのみの構成で、ブロックサイズは8から9トークン、デコーダ部分が1億9,300万パラメータ、隠れ状態の射影が2,100万パラメータ、Markovヘッドが6,550万パラメータという内訳です。追加されるパラメータは合計2億8,000万で、30億パラメータの対象モデルに対して8.9%程度のオーバーヘッドにとどまるとしています。

配布形式と利用時の注意点

モデルはSafetensors形式とGGUF形式でHugging Face上に公開されており、公開初日からllama.cpp、MLX-VLM、SGLangでの利用がサポートされています。ライセンスはオープンウェイトで、デプロイ方法に制限を設けていません。なお、投機的デコードが高速化できるのはトークン生成の段階に限られ、画像のエンコード処理やプレフィル段階には効果が及ばないため、プレフィルが全体のレイテンシの大半を占めるエッジデバイスではエンドツーエンドの改善幅が小さくなる点には注意が必要です。

視覚言語モデルは画像処理を伴う分、テキストのみのモデルよりも推論コストが重くなりがちで、ローカル環境や制約のあるハードウェアでの実行がボトルネックになりやすい領域です。LFM2.5-VL-DSparkのように、出力品質を保ったまま生成速度だけを底上げする手法が実用レベルで公開されたことで、オンデバイス推論を前提としたアプリケーション開発の選択肢が一段と広がりそうです。

Source Hugging Face Blog

Accelerating vision-language models with LFM2.5-VL-DSpark

A Blog post by Liquid AI on Hugging Face