東映アニメとPFN、AI技術によるアニメ制作効率化の実験的取り組みを共同実施

東映アニメーション株式会社（以下、東映アニメ）と株式会社Preferred Networks（以下、PFN）は、AI技術を活用してアニメ制作を効率化すべく、PFNの深層学習による画像変換技術、セグメンテーション技術などを映像制作に活用する実験的な取り組みを共同で実施した。

その中で、東映アニメの新規IP研究開発チーム「PEROs」が2021年2月に公開した、佐世保市を舞台にした約5分間の実験映像「URVAN」の背景美術制作に、PFNが開発するアニメの背景美術制作支援ツール「Scenify」が活用された。

今回、東映アニメで背景美術制作の技法を培ってきた製作部美術課、AIの活用に取り組んできたデジタル映像部テクノロジー開発推進室、そしてPEROsが連携し、URVANを制作するにあたり、PFNの画像変換およびセグメンテーション技術を応用して開発されたScenifyを活用した。

同作品では、実在する佐世保の風景をアニメ調・サイバーパンク調の2つの画風で表現しており、現地で実際に撮影された風景写真からScenifyでアニメ調の背景素材に自動変換することで、美術クリエイターが画像の前処理工程に要する時間を従来の約1/6に短縮することができた。Scenifyは、同作品で制作した背景美術の約2/3に使用されている。

この技術の活用により、美術クリエイターは作業負担・工数を削減することができ、クリエイティブの自由度・振れ幅が大きいサイバーパンク調の背景制作により多くの時間を充てることが可能になった。

また、Scenifyの開発では、背景美術の制作に必須となる、背景画像からキャラクターに接する部分・手前にくる部分（BOOK）を自動的に切り出す「BOOK分け」機能、画像の一部を除去した後の空白を自然に塗りつぶす「スマート塗りつぶし」機能、さらに、Scenifyをクリエイターの制作ワークフローに組み込みやすくするためのプロトタイプUIの開発も行った。