オーストラリア国立大、記事中の画像にキャプションをつけてくれるAIを発表！

ニュース記事に挿入される画像キャプション作成は、AIがやってくれるようになるかもしれない。

オーストラリア国立大学の研究チームは、より人間の書いたものに近い画像キャプションが生成できるAIシステムを発表した。従来のキャプション生成AIは、画像に関する一般的な説明しか生成できなかった。

これに対して研究チームが構築したシステムでは、記事内の情報を含むキャプションを生成する。

記事を解析して画像の説明に活用

研究チームは、キャプションの生成に画像を説明するモデルに、顔の検出、モノの検出、ロケーションの検出、そして記事の解析を行うモデルを追加して説明の精度を高めようと試みた。

画像中に検出された顔などのオブジェクトと、記事中の単語を一致させるアテンションメカニズムを構築。記事の解析にはキャプション生成AIでこれまで利用されてきたLTSM（Long short-term memory）ベースのモデルではなく、Transformerベースのモデルを採用している。これにより、長い記事のなかから最適な単語に重みづけを行う。

また、トレーニングに用いる画像とキャプションのデータセットには、これまでのGoodNewsにNYTimes800kを追加し、ボキャブラリーサイズを拡大した。

将来的にはWebやソーシャルメディアもソースに

2020-05-22 19:25:34