Hugging Faceの「Open ASR Leaderboard」にヒンディー語が初追加——音声認識の公平性を測る新データセット「Monsoon」

Hugging Faceは公式ブログで、音声認識(ASR)モデルの精度を横並びで比較できる「Open ASR Leaderboard」に、インド英語とヒンディー語の評価セットを新たに追加したと発表しました。VoiceArenaと共同開発した新データセット「Monsoon」を使ったもので、これまで欧州言語に偏っていた多言語タブに、初めてインド系言語が加わる形です。

「測られない能力は改善されない」という問題意識

Hugging Faceはブログの中で、ベンチマークが実際にどのモデルが採用され、改良され続けるかを左右すると指摘しています。裏を返せば、リーダーボードで測定されない能力は改善されにくいという構造的な問題があるということです。これまでOpen ASR Leaderboardでは、非公開の評価データの導入や、モデルが音声だけでなく参照文をそのまま再現していないかを検証する分析など、単語誤り率(WER)という一つの指標の信頼性を高める取り組みが進められてきました。しかし、その一つの数値だけでは、音声認識の誤り率が話者属性によって偏っているという問題までは見えてきません。

9つの軸で「多様性」を設計したMonsoonデータセット

新データセットMonsoonは、地理・年齢・性別・語彙・録音デバイス・音響環境・発話形式・発話速度・有効な表記のゆれという9つの軸に沿って意図的に多様性を設計している点が特徴です。話者は数百の地区から募られ、収録も静かなスタジオではなく、参加者自身の端末と回線を使って屋内外の日常的な環境で行われました。プロンプトは意見や体験談を語らせる形式にすることで、固有名詞や数字、言い淀みなど自然な発話に現れやすい要素を意図的に含めています。

画像引用元: Hugging Face Blog

数百人規模の話者でWERを測定、上位10人の寄与は1割未満

Monsoonは収録時間で見ると小規模ですが、話者数で見ると規模の大きいデータセットです。上位10人の話者が占める発話時間の割合は全体の2.8%から6.8%にとどまり、半数以上の話者は一度しか登場しません。つまりMonsoon上でのWERは、少数の話者を長時間録音した結果ではなく、数百人規模の異なる声を平均した結果として算出される設計になっています。特定の話者の発話パターンにモデルが過剰適合していないかを検証しやすくなる点は、実運用に近い評価という観点で意味を持ちます。

ヒンディー語は「一つの正解」ではなく表記のゆれをそのまま許容

英語の評価セットでは、リーダーボードの正規化処理によって綴りのゆれの大半は吸収できます。しかしヒンディー語は英語よりもはるかに多くの表記のゆれを抱えており、単純な正規化では解決できません。そのためMonsoonのヒンディー語セットでは、一つの発話に対して複数の妥当な書き起こしを許容する「ラティス」形式で正解データを提供しています。単一の正解文字列に頼らない評価方法を採用することで、表記の多様性そのものをペナルティにしない仕組みを取り入れています。

Open ASR Leaderboardは公開ベンチマークとして広く参照されており、開発者やモデル提供者にとっては、インド英語やヒンディー語での性能を客観的に確認できる初めての共通の物差しになります。今後、他のグローバルサウス地域の言語がどれだけ追加されていくかが、多言語音声認識の公平性を占う指標になりそうです。音声アシスタントやコールセンターの自動応答など、実際に多様な話者と接する製品を開発しているチームにとっては、自社モデルの弱点を把握するための具体的な材料が一つ増えたことになります。

Source Hugging Face Blog

The Open ASR Leaderboard Adds Its First Global South Language

We’re on a journey to advance and democratize artificial intelligence through open source and open science.