NVIDIAは22日(現地時間)、ユーザーの入力した単語や文章から画像を生成できるAIを発表した。同社の開発している落書きからリアルな画像を生み出すAIアートツールGauGANを強化した「GauGAN2」に備わるものとなる。
「sunset at a beach(ビーチの夕暮れ)」や「ocean waves hitting rocks on the beach(岩場に打ち寄せる波)」といった文章から、AIが自動でそれに沿ったリアルな画像を生成する。形容詞を加えるなど文章が変化するとリアルタイムで画像も変わる。
1つのモデルで単語/文章からの画像生成だけでなく、セグメンテーションマッピングやインペインティングも可能。簡単なスケッチからAIが生成したシーンに対して、季節感などを文章で入力してさらに変えるといったこともできる。
GauGAN2では、同社のスーパーコンピューター「Selene」と、1,000万枚もの高画質な風景画像を活用。冬や霧、虹などといった単語の文字情報と、それらに対応する視覚的情報を結びつけるニューラルネットワークを利用して学習を行なったという。
Paint Me a Picture: NVIDIA Research Shows GauGAN AI Art Demo Now Responds to Words