허재필 교수 연구실, 현상익 석사과정, 김지환 박사과정 CVPR 2021 국제학술대회 논문 게재
- 인공지능학과
- 조회수1572
- 2021-04-06
비주얼컴퓨팅연구실(지도교수: 허재필)의 현상익 (인공지능학과 석사과정)와 김지환 (인공지능학과 박사과정)가 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2021에 “Self-Supervised Video GANs: Learning for Appearance Consistency and Motion Coherency” 논문을 게재하였습니다.
CVPR는 컴퓨터 비전 및 인공지능 분야의 Top-tier 학술대회이며, 2021년에는 온라인으로 개최됩니다.
본 연구에서는 비디오를 생성하는 적대적신경망(Generative Adversarial Networks, GANs)의 성능 향상을 위한 자가학습(Self-Supervised Learning) 기술을 제시하였습니다. 비디오 컨텐츠를 영상의 모습(Appearance)과 움직임(Motion)의 조합으로 정의하고, 모습 및 움직임의 일관성을 가진 자연스러운 비디오 생성을 위해 각각의 성분에 대한 자가학습목표(Self-supervision Objective)를 모델링 하였습니다. 제안된 모델(SVGAN)은 현재 비디오 생성 분야에서 가장 높은 성능을 달성하였으며, 현재 이미지 생성에 집중되어 있는 GAN 연구가 비디오 도메인으로 확장될 수 있도록 하는 밑거름이 될 것입니다.
[논문 정보]
Self-Supervised Video GANs: Learning for Appearance Consistency and Motion Coherency
Sangeek Hyun, Jihwan Kim, and Jae-Pil Heo
IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021
Abstract:
A video can be represented by the composition of appearance and motion. Appearance (or content) expresses the information invariant throughout time, and motion describes the time-variant movement. Here, we propose selfsupervised approaches for video Generative Adversarial Networks (GANs) to achieve the appearance consistency and motion coherency in videos. Specifically, the dual discriminators for image and video individually learn to solve their own pretext tasks; appearance contrastive learning and temporal structure puzzle. The proposed tasks enable the discriminators to learn representations of appearance and temporal context, and force the generator to synthesize videos with consistent appearance and natural flow of motions. Extensive experiments in facial expression and human action public benchmarks show that our method outperforms the state-of-the-art video GANs. Moreover, consistent improvements regardless of the architecture of video GANs confirm that our framework is generic.