허재필 교수 연구실, AAAI 2023 논문 2편 게재 승인
- 인공지능학과
- 조회수1681
- 2023-01-25
비주얼컴퓨팅연구실(지도교수: 허재필)의 논문 2편이 인공지능 분야의 Top-tier 학술대회인 AAAI Conference on Artificial Intelligence 2023 (AAAI-23) 에 게재 승인되었습니다.
논문 #1: "Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition"
(인공지능학과 박사과정 문원준, 인공지능학과 석박통합과정 성현석)
논문 #2: “Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation” (DMC공학과 석사과정 문종보, 인공지능학과 석박통합과정 김현준, 공동1저자)
"Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition" 논문에서는 비디오 데이터 취득할 때 발생하는 데이터 불균형 문제를 다루고 있습니다. 먼저, 데이터 불균형과 함께 비디오 분야에서 추가적으로 고려해야하는 문제점들을 먼저 제기하고 있는데 이는 1) 비디오 데이터에 대한 weak-supervision과 2) 기존의 비디오 데이터의 크기 때문에 사용하던 Pretrained Network가 다운 스트림 작업들에 적합하지 않다는 점입니다. 이를 보완하기 위해 해당 논문에서는 두가지 Attentive Aggregator를 도입하고, 데이터 불균형 문제를 해결하기 위해서는 데이터가 적은 클래스의 다양성을 증가시키는 변형된 외삽과 보간 기법을 제안합니다. 실험을 통해 제안된 방법이 여러 벤치마크에서 일관된 성능 향상을 가져오는 것은 물론, 새롭게 제안하는 벤치마크에서도 성능의 증가가 있음을 확인하였습니다. 추가로, 절제 연구를 통하여 데이터 불균형과 동시에 다루어야 한다고 주장한 두 가지 문제점의 대한 중요도도 실험으로 확인하였습니다.
“Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation” 논문에서는 매우 적은 수의 타겟 도메인 이미지만을 가지고 GANs 모델을 Adaptation하는 문제를 다루고 있습니다. 파인-튜닝과 같은 일반적인 방법을 사용하면 Mode-collapse에 취약하기 때문에 Source와 Target 모델이 각각 생성한 이미지들의 상대적인 거리를 유지하도록 학습하는 방법이 최근 연구되고 있지만, 1) 이미지의 전체 특징으로 거리를 측정하는 방식은 Source 모델이 갖는 세부적인 특징이 손실되고, 2) 이미지 패치단위 특징의 일관성을 유지하게 학습하는 방식은 Target 도메인의 구조적인 특성을 잃는 문제가 있습니다. 이를 보완하기 위해 해당 논문에서는 의미 있는 영역 간의 비교(예: 사람의 눈과 캐릭터의 눈 영역 비교)를 통해 Source 모델의 세부적인 특징을 보존하면서도 Target 도메인의 구조적인 특성을 반영하는 Adaptation을 목표로 1) Domain Gap을 줄여주는 Progressive Adaptation, 2) 의미 있는 영역 간의 비교를 위한 Align-free Spatial Correlation, 3) Importance Sampling 방식들을 제안하였습니다. 다양한 실험을 통해 제안한 방법이 정량적, 정성적 평가에서 우수한 성능을 나타내는 것으로 확인하였고, 특히 사람 평가에서도 좋은 결과를 보였습니다.
[논문 #1 정보]
Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition
WonJun Moon, Hyun Seok Seong, and Jae-Pil Heo
Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI), 2023
Abstract:
A dramatic increase in real-world video volume with extremely diverse and emerging topics naturally forms a long-tailed video distribution in terms of their categories, and it spotlights the need for Video Long-Tailed Recognition (VLTR). In this work, we summarize the challenges in VLTR and explore how to overcome them. The challenges are: (1) it is impractical to re-train the whole model for high-quality features, (2) acquiring frame-wise labels requires extensive cost, and (3) long-tailed data triggers biased training. Yet, most existing works for VLTR unavoidably utilize image-level features extracted from pretrained models which are task-irrelevant, and learn by video-level labels. Therefore, to deal with such (1) task-irrelevant features and (2) video-level labels, we introduce two complementary learnable feature aggregators. Learnable layers in each aggregator are to produce task-relevant representations, and each aggregator is to assemble the snippet-wise knowledge into a video representative. Then, we propose Minority-Oriented Vicinity Expansion (MOVE) that explicitly leverages the class frequency into approximating the vicinity distributions to alleviate (3) biased training. By combining these solutions, our approach achieves state-of-the-art results on large-scale VideoLT and synthetically induced Imbalanced-MiniKinetics200. With VideoLT features from ResNet-50, it attains 18% and 58% relative improvements on head and tail classes over the previous state-of-the-art method, respectively.
[논문 #2 정보]
Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation
Jongbo Moon*, Hyunjun Kim*, and Jae-Pil Heo (*: equal contribution)
Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI), 2023
Abstract:
In few-shot generative model adaptation, the model for target domain is prone to the mode-collapse. Recent studies attempted to mitigate the problem by matching the relationship among samples generated from the same latent codes in source and target domains. The objective is further extended to image patch-level to transfer the spatial correlation within an instance. However, the patch-level approach assumes the consistency of spatial structure between source and target domains. For example, the positions of eyes in two domains are almost identical. Thus, it can bring visual artifacts if source and target domain images are not nicely aligned. In this paper, we propose a few-shot generative model adaptation method free from such assumption, based on a motivation that generative models are progressively adapting from the source domain to the target domain. Such progressive changes allow us to identify semantically coherent image regions between instances generated by models at a neighboring training iteration to consider the spatial correlation. We also propose an importance-based patch selection strategy to reduce the complexity of patch-level correlation matching. Our method shows the state-of-the-art few-shot domain adaptation performance in the qualitative and quantitative evaluations.