PFN、深層学習を活用したデジタル素材生成システムをクリエイティブ産業向けに開発

株式会社Preferred Networks（以下、PFN）は、好みのキャラクターや3Dモデルが簡単に生成できるデジタル素材生成システムをクリエイティブ産業向けに開発した。

同デジタル素材自動生成システムは、キャラクター自動生成・3Dモデル生成の2つの機能で構成される。

キャラクター自動生成

PFNが開発したキャラクター生成プラットフォーム「Crypko」は深層学習を利用し、制作者が定義した顔のパーツ、表情、髪の色などに合ったキャラクターのCGを自動生成することができる。これまでCrypkoは顔が生成対象だったが、上半身までより高い解像度で生成することが可能となった。

3Dモデル生成

実物のアイテムを専用の3Dスキャナーに配置し撮影するだけで、より高精細な3Dモデルを簡単に自動生成する。様々な材質や大きさの被写体に対応しており、小型のアイテムであれば約6時間の撮影作業で当日中に200点以上の3Dモデル化が可能だ。生成した3Dモデルは市販の編集ソフトで自由に加工・複製し、映像作品やゲーム等で使用することができる。

同システムを利用した映像作品の第一弾として、PFNはバーチャルシンガーHACHI氏の楽曲「20」をフィーチャーした短編動画を公開した。動画中の主人公はキャラクター自動生成システムが生成したキャラクターを元にデザインされ、スマートフォンや背景の文房具などのアイテムは3Dモデル生成機能を用いて実物から生成されたものが元になっている。

また、動画に登場するギターのコンピューターグラフィックス制作過程では細部の質を上げるため外部クリエイターと共同作業しており、より精細なデジタル素材を作成することができた。