Meta、200言語を翻訳するAI「NLLB-200」をオープンソース化

Metaは米国時間7月6日、200種類もの言語翻訳が可能な人工知能（AI）モデル「NLLB-200」をオープンソース化したと発表した。これにより、さまざまな技術とデジタルコンテンツが、今までよりもはるかに広い範囲の人々に開放されることになるとみられる。「No Language Left Behind（NLLB）」というこのモデルは、55のアフリカ系言語を含め、合わせて200種類の言語を高い品質で翻訳できる。 「英語、標準中国語、スペイン語、アラビア語など、わずか数種類の言語がウェブを独占している」と、同社はブログ記事の中で述べている。「非常に広く使われているこれらの言語を母国語とする人々は、自分の母国語で記述されたものを読むことの重要性を、当たり前と感じているかもしれない。NLLBは、より多くの人々が、感情や文脈に誤りの多い中間言語を必要とすることなく、それぞれが望む言語で文章を読めるように支援する」 同社は、NLLBを自社製品の改良に利用しているが、このモデルがオープンソース化されることにより、技術者らは、ジャワ語やウズベク語のような言語で適切に動作するAIアシスタントなどのツール構築や、スワヒリ語やオロモ語でのボリウッド映画の字幕作成に利用できるようになる。 NLLBは、単一の最先端AIモデルが対応できる言語の数を2倍近くにまで増やしている。Metaによると、カンバ語やラオ語など、多くの言語が、既存の翻訳ツールで十分にサポートされていないか、まったくサポートされていないという。広く使用されている翻訳ツールで現在サポートされているアフリカ系言語は、25種類を下回る。 NLLB-200は翻訳品質についても、これまでのAI研究と比べて平均44％向上している。また、一部のアフリカやインドの言語の翻訳精度は70％以上高かったという。翻訳品質を判定するために、Metaは、自動指標評価と人間による評価の両方を実施した。 Metaの研究者らはNLLB-200の翻訳品質を高めるため、4万種類の言語の使用法における性能評価を支援するデータセット「FLORES-200」を構築した。 Metaは、NLLB-200のオープンソース化に加えて、FLORES-200のデータセット、モデルトレーニングコード、トレーニングデータセットを再作成するためのコードを開発者らに提供する。 また、NLLB-200を効果的に使用し、サステナビリティ（持続可能性）、フードセキュリティ（食料安全保障）、ジェンダーに基づく暴力や教育など、国際連合（UN）の持続可能な開発目標（SDGs）を支持する分野に取り組む研究者や非営利組織に、最大20万ドル（約2700万円）の助成金を提供する。 Metaはこのモデルが自社製品全体で、毎日250億回を超える翻訳に対応すると期待している。コンテンツの翻訳とより適切な広告の表示に加えて、有害なコンテンツや偽情報の検出にも利用される予定だ。 MetaのNLLB研究は、ウィキペディア編集者らが使用する翻訳システムにも利用されている。Metaは、ウィキペディアをはじめとする無料の知識プロジェクトを運営する非営利組織Wikimedia Foundationと提携し、ウィキペディアの翻訳システムの改良を支援している。ウィキペディアは、300を超える言語で提供されているが、英語版には600万件を超える記事が掲載されているのに対し、記事数がはるかに少ない言語がほとんどだ。 編集者らは、Wikimedia Foundationの「Content Translation Tool」を介してNLLB-200の技術を利用し、リソースが少ない20以上の言語で記事を翻訳できる。 この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。