「とりあえずLoRA」を見直す——Hugging Faceが微調整手法の横並びベンチマークを公開、画像生成ではOFTがLoRAを上回る

Hugging Faceは2026年6月18日、パラメータ効率の良い微調整（PEFT）の手法を同じ条件で比較できるベンチマークを公開しました。多くの人が「とりあえずLoRA」で済ませている現状に対し、本当にLoRAが最適なのかを客観的に確かめられる土台を用意した内容です。著者はBenjamin Bossan氏、Sayak Paul氏、Marian氏、Kashif Rasul氏らです。

「LoRA一択」の現状を問い直す

PEFTのなかでもLoRAの人気は圧倒的です。Hugging Face Hub上で、PEFT手法をちょうど1つだけ挙げているモデルカードのうち、実に98.4%がLoRAに言及しているといいます。微調整といえばLoRA、という空気が広く定着している状況です。

ただしHugging Faceは、この人気が必ずしも技術的な優位性の証ではない可能性を指摘します。早くから普及し、エコシステムの対応が進んだことで、「みんなが使うからさらに使われる」という自己強化のループが生まれただけかもしれない、という見立てです。結果として、より良い選択肢があっても試されないまま、という事態が起きているのではないかと問いかけます。

画像引用元: Hugging Face Blog

LoRA以外にも多彩な選択肢

記事では、LoRA以外のPEFT手法が数多く紹介されています。直交性を使うOFT（Orthogonal Finetuning）をはじめ、LoRAの派生であるDoRA・rs-LoRA・LoRA-FA、さらにBEFTやLily、GraLoRA、LoHa、AdaLoRA、Cartridgesといった手法が挙げられています。

これらはそれぞれ、学習させるパラメータの持ち方や効かせ方が異なり、精度・メモリ消費・学習速度・保存サイズといった面でのバランスも変わってきます。LoRAが万能というよりは、タスクや制約に応じて適した手法が変わり得る、という前提に立っています。

同条件で比べるベンチマーク

今回の目玉が、PEFTライブラリに組み込まれた客観的なベンチマークです。各手法を同一の条件で走らせ、テスト精度・メモリ使用量・実行時間・チェックポイントのサイズといった指標を測定します。対象タスクには、LLMの数学的推論と画像生成が含まれます。

注目すべき結果も示されています。画像生成のベンチマークでは、OFTがLoRAを明確に上回った（strictly dominates）とされています。つまり、少なくとも一部の用途では、定番のLoRAより良い選択肢が実在するということです。Hugging Faceは、こうした比較をインタラクティブなツール上で確認しながら、トレードオフを踏まえて手法を選ぶことを勧めています。

実務者への影響

今回の公開が示すのは、微調整の手法選びを「定番だから」で決めるのではなく、自分のタスクで実測して選ぶ時代に入りつつある、ということです。LoRAは依然として強力で扱いやすい選択肢ですが、それが常に最適とは限りません。

モデルの微調整を日常的に行っているなら、まずは手元のタスクで複数の手法を同条件で回し、精度とコストのバランスを見比べてみる価値があります。とくにメモリや保存サイズがボトルネックになっている場合や、画像生成のように特定の傾向が出る領域では、LoRA以外の選択肢を検討する余地がありそうです。ベンチマークという共通の物差しが用意されたことで、その比較がぐっとやりやすくなりました。

出典 Hugging Face Blog

Beyond LoRA: Can you beat the most popular fine-tuning technique?

PEFT手法を同条件で比較できるベンチマークをHugging Faceが公開。LoRA一択を見直し、OFTなど代替手法とのトレードオフを可視化。