画像生成AI「Stable Diffusion」のアウトペインティング機能で画像をどんどん拡張できる「stablediffusion-infinity」

2022年8月に公開された画像生成AI「Stable Diffusion」は、世界中のユーザーによって猛烈な勢いで拡張機能やプラグインが追加されており、ユーザーインターフェース(UI)で簡単にStable Diffusionを使える「AUTOMATIC1111版Stable Diffusion web UI」なども登場しています。そんなStable Diffusionで元となる画像の構図や絵柄を維持したままイラストを描き足す「アウトペインティング」機能を用い、どんどん画像を拡張できるツール「stablediffusion-infinity」が登場しました。

GitHub – lkwq007/stablediffusion-infinity: Outpainting with Stable Diffusion on an infinite canvas
https://github.com/lkwq007/stablediffusion-infinity

stablediffusion_infinity_colab.ipynb – Colaboratory
https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb

画像生成AIにおけるアウトペインティングとは、元となる画像の構図や絵柄を維持したまま、新たなプロンプトに従って画像を描き足せるという機能です。「stablediffusion-infinity」ではあらかじめ用意した広いキャンバス内に画像を配置するか生成し、そこに絵柄を保持した新たな画像をどんどん付け加えていくことが可能。たとえば、キャンバスに以下のような「ネコが草の上に座っている」画像を生成し……

そこに新たな画像を付け加えることができます。

元の画像との整合性を失わないよう、ネコの体も拡張した部分とつながります。

また、すでに存在する画像や写真を元にしてアウトペインティングを行うことも可能。ヨハネス・フェルメールの「真珠の耳飾りの少女」を元にした例では……

少女の背景に、棚やカーテンなどがある空間が生成されました。

「stablediffusion-infinity」をGoogleが提供するPython実行環境「Google Colaboratory」で利用した動画も公開されています。

Stable Diffusion Outpainting Colab Tutorial – YouTube
[embedded content]

キャンバスに描かれているのは、宇宙人かロボットのように見える顔や空を飛ぶ鳥。

キャンバスのまだ絵がない場所に四角形の枠を配置し……

右下のプロンプト入力欄に「an alien spaceship(エイリアンの宇宙船)」と入力し、「outpaint」ボタンをクリック。

しばらく待つと、枠を配置した場所に宇宙船が描かれました。中央の顔と滑らかにつながっているだけでなく、背景や絵柄にも統一感があります。

今度は別の場所に枠を配置して「outpaint」をクリック。プロンプトは「an alien spaceship(エイリアンの宇宙船)」のままです。

すると、2代目の宇宙船が顔の上に描かれました。なお、この動画ではGoogle Colaboratoryで「stablediffusion-infinity」を実行するやり方も解説されていますが、記事作成時点ではエラーが出て使えないという報告が上がっています。

Twitterでは、フェルメールの「牛乳を注ぐ女」をモチーフにしたネスレのデザートブランド「La Laitière」のイラストを元に、画像生成AIのアウトペインティングを使用して女の周囲を描かせてみた動画が話題になっています。

Quand La Laitière de Nestlé utilise l’IA pour imaginer ce qu’il y a au-delà du célèbre tableau de Vermeer pic.twitter.com/hczSEBsAhq

— Creapills ???? (@creapills)

白いキャンバスの中央に配置されているのは、「牛乳を注ぐ女」をモチーフにしたLa Laitièreのイラストです。よく見ると、女の手前にあるはずのパンがLa Laitièreのヨーグルトになっているのがわかります。