手描きスケッチからリアルな顔を生成　深層学習に画家の手法導入し改善：Innovative Tech

　中国・北京大学と米テキサスA&M大学の研究チームが開発した「Deep Plastic Surgery」は、ユーザーの手描きスケッチからリアルな顔画像の生成とインタラクティブな編集ができるフレームワークだ。

手描きのラフスケッチからリアルな顔を生成する

　スケッチベースの画像編集はこれまでも研究されてきたが、訓練用スケッチの収集が難しいため、代わりにカラー画像から検出のエッジマップを用いてモデルを学習してきた。その結果、スケッチとエッジマップとの構造的な不一致による不安定な出力が多かった。

　今回の手法では、手描きスケッチ自体を深層学習ネットワークに直接与えて顔画像を生成するのではなく、手描きスケッチをエッジマップに変換し、エッジマップからリアルな顔を合成する。

手書きスケッチからエッジマップを生成し、リアルな顔を合成する

　この発想は、画家が絵を描くときの描画プロセスに触発されている。絵を描く場合、最初に対象物の形状をイメージし、多くの冗長な線を含む粗いラフスケッチから描き始める。それから線の合体や、細部の微調整、ミスの修正などをして徐々に最終的な線画を決定する。これは粗い線から細かく正確な線への描画プロセスであり、手描きのラフスケッチからエッジマップへのプロセスと似ている。

フレームワークの概要図

　このやり方を今回のフレームワークに採用することで、学習時はスケッチデータを必要とせず、エッジマップとカラー画像のみで効果的に行える。実行時は手描きスケッチを入力に、リアルな顔を生成できるようになる。

　出力結果の比較実験では、画像編集の視覚的品質とユーザーの制御性を向上させる上で、今回のフレームワークが最先端の手法よりも優れていることを実証したという。

顔の一部を手描きスケッチから修復し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート1）

顔の一部を手描きスケッチから修復し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート2）

顔全体を手描きスケッチから合成顔を生成し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート1）

顔全体を手描きスケッチから合成顔を生成し、結果を類似研究と比較した図。右端が本手法の出力結果。（パート2）

　動画はこちら。