NVIDIAが超高性能ディープフェイク生成AI「Implicit Warping」をひっそり開発している

特定の人物の写真をAIに学習させて実際に撮影したわけではない偽のムービーを作り出す技術「ディープフェイク」は、「俳優を現地に呼ばずに映像作品を作成する」といった有用な使い方の他に、「ポルノ映像に他人の顔を重ねる」「架空の人物としてリモートワークの採用面接を受ける」といった悪用事例も多数報告されています。そんな中、NVIDIAがひっそりと公開していた映像補間AI「Implicit Warping」が高品質なディープフェイク生成に使えるとして話題になっています。

Implicit Warping for Animation with Image Sets
https://deepimagination.cc/implicit_warping/

[2210.01794] Implicit Warping for Animation with Image Sets
https://doi.org/10.48550/arXiv.2210.01794

NVIDIA’s Implicit Warping Is a Potentially Powerful Deepfake Technique – Metaphysic.ai
https://metaphysic.ai/nvidias-implicit-warping-is-a-potentially-powerful-deepfake-technique/

Implicit Warpingは「複数の画像に含まれる特徴を学習して、別の映像に当てはめる」という操作を実現可能なAIの一種です。例えば、以下映像(クリックで再生)の左端に配置された画像2枚を学習して左から3番目に配置された「学習元画像とは別の男性が話す映像」に学習結果を当てはめた場合、右側3つのような映像を生成できます。3つの映像は左から順に「First Order Motion Model(FOMM)」「fv2v」「Implicit Warping」で生成したもので、「Implicit Warping」で生成した映像は他の2つの映像と比べて肌のツヤや目のハイライトがリアルに再現されていることが分かります。

上記のように、Implicit Warpingを用いると少数の画像から高品質なディープフェイク映像を生成可能ですが、Implicit Warpingの研究論文には「私たちの方法(Implicit Warping)がディープフェイクの生成に用いられた場合、社会に対して悪影響を与える可能性があります」「ただし、制御された環境下では娯楽目的に活用できます」と記されています。また、NVIDIAは以下のような「元画像から背景の情報を読み取り、破綻のない背景を生成する」といったデモを多数公開しており、ディープフェイク生成AIではなく映像補間AIとしての利用を念頭に置く姿勢を強調しています。

一方でコンテンツ生成AIに関する研究団体「Metaphysic.ai」は「Implicit Warpingには、既存のシステムと比べて並外れたディープフェイク生成性能を備えています」と述べてディープフェイク生成性能の高さを強調しています。そのうえで、「Implicit Warpingには高度なディープフェイク生成性能が備わっているものの、NVIDIAはディープフェイクに対するネガティブな印象が増大している現状を恐れてディープフェイク生成については深追いしなかった」と推測しています。