紫を基調にした背景で、画像やテキストのアイコンから中心の球体ノードへ線が集まり、複数の出力ベクトルへ広がるイラスト

記事

H company、マルチモーダルエンコーダー「NeoMME」公開——テキストと画像を1つのTransformerで処理

AI企業のH companyは、Hugging Face上でテキストと画像を単一のTransformerエンコーダーで処理する新モデル「NeoMME」を公開しました。文書検索向けに派生させたNeoMME-Retrieverは、既存モデルの約2倍の処理速度を実現しているといいます。

AI企業のH companyは、Hugging Face上で新しいマルチモーダルエンコーダー「NeoMME」を公開しました。テキストと画像を別々の仕組みで処理する従来の視覚言語モデル(VLM)ベースのエンコーダーとは異なり、単一の双方向Transformerで両方のモダリティを同じ計算経路で扱う点が特徴です。文書検索向けに派生させた「NeoMME-Retriever」も同時に公開されており、モデルの重みはApache 2.0ライセンスの下でHugging Face Transformersから利用できます。

VLMベースの視覚言語モデルとは異なるアプローチ

近年の視覚文書検索モデムの多くは、あらかじめ学習済みのVLMを転用する形で作られています。画像を処理する視覚エンコーダーが特徴量を作り、それをプロジェクターが言語モデルの入力空間に変換し、最後に因果的なデコーダーが画像とテキストを合わせて処理するという構成です。しかし検索や分類は文章を自己回帰的に生成する必要がないため、H companyはこうした因果デコーダーの計算負荷を持たない、独立設計のマルチモーダルエンコーダーとしてNeoMMEを開発したと説明しています。既存の視覚タワーやテキストエンコーダー、デコーダーを流用しない、ゼロからの設計であることを強調しています。

紫色の球体ノードを中心に、画像やテキストのアイコンから曲線が集まり、複数の出力ベクトルへ広がるイラスト

画像引用元: Hugging Face Blog

260Mと800Mの2サイズ、共通の設計思想

NeoMMEは2億6,000万パラメータと8億パラメータの2サイズで提供されます。テキストは因数分解されたトークン埋め込みを使い、画像は32×32ピクセルの重なりのないパッチに分割してMLPで射影したうえで、両者が同じTransformerエンコーダーに入力される「ネイティブなマルチモーダル入力」が特徴です。画像は元のアスペクト比とサイズを保ったまま処理される「動的解像度」に対応しており、情報量の多い高解像度の文書ページには多くのトークンを、単純な画像には少ないトークンを割り当てられます。コンテキスト長は16,384トークンで、標準的な3840×2160の4K画像2枚分に相当する長さです。グループ化クエリアテンションや2次元回転位置埋め込みなど、比較的新しいエンコーダー向けの改良も取り入れられています。

マスク付きテキスト拡散で画像からの学習を促す

NeoMMEの事前学習は、離散的なマスク拡散によるテキストのノイズ除去タスクとして、ゼロから行われています。テキストのみの例では0から1の範囲でランダムに欠落率を決め、対象トークンをその確率でマスクします。マルチモーダルな例では欠落率を0.3から1の範囲に設定し、画像パッチは見えたままにしてテキスト部分だけをマスクします。マスク率が低いときはテキストの前後関係だけから欠けた単語を推測できてしまいますが、マスク率を高くすることで、モデルは画像に基づいた説明を学ばざるを得なくなる仕組みです。学習データはテキスト、コード、数式、自然画像、文書画像を組み合わせた約5,240億トークンで、ModernBERTの2兆トークンと比べると小規模なため、データ効率を高めるNorMuonオプティマイザーを採用したとしています。

NeoMME-Retrieverは既存モデルの約2倍の速度

文書検索向けに調整した「NeoMME-Retriever」は、ColPaliが提示したページ画像方式を採用し、PDFをOCRでテキスト化する前処理を省いて、文書ページのスクリーンショットをそのまま検索対象として扱います。密な埋め込みを作る「デンスヘッド」と、テキストトークンや画像パッチ単位でより粒度の細かいベクトルを作る「レイトインタラクションヘッド」という2つの出力ヘッドを同時に学習させているのが特徴です。2048×2048の画像入力をNVIDIA L40S GPU上で処理した場合、260Mモデルは1秒あたり約51ページを処理でき、これはColModernVBERTのおよそ2倍のスループットに相当するといいます。階層的なトークンプーリングと非対称量子化により、レイトインタラクション方式のインデックス保存容量も1ページあたり約1.5MBから約6KBへと255分の1に圧縮しつつ、検索精度(nDCG@10)の95%以上を維持できているとしています。

高解像度の文書ページを画像のまま検索対象にできれば、レイアウトや図表、フォントといった、OCRでは失われがちな視覚的な手がかりを保ったまま検索精度を高められます。企業内のPDFマニュアルやスライド資料を検索する用途では、インデックス容量を大きく圧縮できる点も運用コストの面で効いてきそうです。オープンな重みで公開されていることから、既存の検索基盤に組み込んで自前のベンチマークで比較検証する動きも今後出てきそうです。