ムービー内の動きをたった1枚の写真に反映して写実的なムービーを作り出すAIが開発される

GPUやAIの開発で知られるNVIDIAの研究チームは、「ムービー内の動きをたった1枚の写真に反映し、写実的なムービーを作り出すAI」を開発したと発表しました。

近年ではAI技術の発達により、ムービーや写真などのデータセットから新たに架空のムービーや写真を作り出すなど、さまざまなことが可能となっています。しかし、既存のモデルでは、対象となる被写体に関する多くのデータセットが必要であり、学習したモデルが他の対象に広く一般化しにくいという問題もありました。そこでNVIDIAの研究チームは、「インプットされたムービー内の動きだけを抽出し、これまでモデルが学習していない1枚の写真と合成して写実的なムービーを作り出すAI」を開発したとのこと。

新たに開発されたAIがどのようなものになっているのかは、以下のムービーを見るとよくわかります。

画面の左に表示されているのは、あらかじめモデルにインプットされた、抽象的な動きを表すムービーです。1番上のムービーでは棒人間がダンスを踊り、2番目では線で描かれた顔が何かを話しており、3番目では道路を進む車から見える風景が表されています。