今年、2022年10月19日にAdobeMAXが開催されました。
毎年恒例なのですが、まだ研究中の技術を発表する「Sneaks」の中で
私が一番気になった技術を紹介します。
遠くないAdobeの未来の技術「Project All of Me」
概要はこうです。お祝いで写真集を作ってあげようとしたのですが、全身ではなく、足が見切れている写真１枚しか手に入れれませんでした。
そこで、今回の「Project All of Me」を使えば次のようなことが実現できます。
- 見切れた足の部分を産み出すことができます。
- 真ん中のペイントを編集することで、鞄を消すことができます。
- 真ん中のペイントを編集することで、スカートの長さを伸ばすことができます。
- 着ている服を変更することができます。
- それを複数一気に作ることができます。
- 写っている背景を変更することができます。
- 最終的にこのようになりました。
使用技術についての予測
Adobe Senseiの技術すごいですね。さて、画面を見て使われている技術を予想してみます。
予測使用技術：
- 画像の外を予測して埋める処理 →「OutPainting」もしくは「Contents Aware fill」この辺は知見があまりなくどんなモデルかわかりません。ご存じの方情報いただければ幸いです。
- 人物を人体部位と衣服を分ける処理 →「Semantic Segmentation」
- ペイントから画像を編集する処理 →「GauGAN」参考文献：Taesung Parkら. GauGAN. https://arxiv.org/abs/1903.07291
- 人物と背景を分離する処理 →「Semantic Segmentation」
といったところでしょうか？
オンデマンドですごさを観てみよう
Adobe MAXの内容はこちらから視聴できます。
是非とも見てみて下さい。
www.adobe.com
