-
- 박은병, 고종환 교수 연구팀 CVPR 2023 논문 2편 게재 승인 NEW
- 인공지능학과 박은병, 고종환 교수 연구팀의 논문 2편이 인공지능 및 컴퓨터비전 분야 최우수학술대회 중 하나인 CVPR 2023 (The IEEE/CVF Conference on Computer Vision and Pattern Recognition)에 게재 승인되었다. 학회는 2023년 6월 캐나다 벤쿠버에서 열릴 예정이다. 논문 #1: “Masked Wavelet Representation for Compact Neural Radiance Fields”, 노다니엘*, 이병현*, 남승태, 이주찬, 고종환^, 박은병^ (*공동 1저자, ^공동 교신저자) 연구 홈페이지: https://daniel03c1.github.io/masked_wavelet_nerf 코드 링크: https://github.com/daniel03c1/masked_wavelet_nerf [그림1] Masked Wavelet Representation [그림 2] 기존 방법론과의 성능 비교 박은병, 고종환 교수 공동 연구팀(인공지능학과 석사과정 졸업 및 현 KT AI2XL 재직 노다니엘/석사과정 이병현 학생 공동 1저자, 석사과정 남승태 학생 공동저자, 석박통합과정 이주찬 학생 공동저자)의 논문 “Masked Wavelet Representation for Compact Neural Radiance Fields”는 이산 웨이블렛 변환을 이용한 주파수 기반의 격자구조 신경 복사 필드를 제안하였다. 더 나아가 주파수 영역에서 효율적으로 학습이 가능한 마스크를 사용하여 신경 복사 필드를 압축함으로써 많은 메모리를 요구하는 기존 격자구조 기반의 신경 복사 필드 방법론들의 단점을 극복했다. 논문 #2: “SMPConv: Self-moving Point Representations for Continuous Convolution”, 김상현, 박은병 코드 링크: https://github.com/sangnekim/SMPConv [그림 3] SMPConv 와 기존 방법론과의 비교 박은병 교수 연구팀(석사과정 김상현 학생 1저자)의 논문 “SMPConv: Self-moving Point Representations for Continuous Convolution”은 기존 다층 퍼셉트론(MLPs)을 활용한 연속 합성 곱(Continuous Convolution) 구현의 연산량과 구조적 문제를 해결하기 위한 스스로 움직이는 포인트 표현과 보간법을 제안하였다. 제안된 방법은 다양한 실험 환경에서 선행 연구보다 효율성과 우수성을 입증하였으며, 영상 처리 분야에 광범위하게 사용될 수 있을 것으로 기대된다.
-
- 작성일 2023-03-23
- 조회수 226
-
- 박호건 교수 연구실(기계학습, 데이터마이닝 연구실)의 추천 시스템 연구The Web Conference (WWW) 2023 논문 게재 승인
- LearnData Lab(기계학습/데이터마이닝) 연구실(지도교수: 박호건, https://learndatalab.github.io)의 정희수 학생(석사과정)과 박호건 교수(교신저자)가 제출한 “Dual Policy Learning for Aggregation Optimization in Graph Neural Network-based Recommender Systems” 논문이 웹/데이터 마이닝 분야 최우수 학회 The Web Conference(WWW) 2023 (https://www2023.thewebconf.org) (BK IF=4)에 게재 승인되었고, 2023년 5월 미국 텍사스에서 발표될 예정입니다. 본 논문은 대부분의 최신 추천 시스템의 근간이 되는 그래프 신경망(Graph neural networks; GNN)기반 딥러닝 모델에서 사용 가능한 강화 학습 기반 성능 개선 학습 방법을 제안합니다. 기존GNN 기반 추천 시스템은 멀리 떨어진 이웃의 정보를 집계하여 사용자와 항목 간의 복잡한 고차원적 연결성을 포착하는 장점이 있지만, 사용자와 추천 상품의 이질적인 특성으로 인해 성능 향상에 한계가 있었습니다. 본 논문에서는 추천 시스템을 위한 새로운 강화 학습 기반 메시지 전달 프레임워크인 DPAO(Dual Policy learning framework for Aggregation Optimization)를 제안하며, 이중 정책 학습을 사용하여 사용자 및 상품에 대한 고차 연결을 적응적으로 결정합니다. 제안한 프레임워크는 Amazon, Yelp 포함 6개의 실제 상품 추천 데이터 세트에서 평가하였습니다. 그 결과 본 논문이 제안한 프레임워크가 최근 발표된 GNN기반 추천 시스템 모델을 크게 향상시켜, 대표적인 추천 시스템 평가 지표인nDCG와 Recall에서 각각 최대 63.7%와 42.9%까지 향상시키는 것으로 나타났습니다. 구현 코드와 논문은 본 연구실 홈페이지(https://learndatalab.github.io)에서 확인할 수 있습니다. [논문 정보] Heesoo Jung, Sangpil Kim, Hogun Park. Dual Policy Learning for Aggregation Optimization in Recommender Systems, In Proceedings of the ACM 32nd Web Conference: WWW 2023, Austin, USA, 2023. [Abstract] Graph Neural Networks (GNNs) provide powerful representations for recommendation tasks. GNN-based recommendation systems capture the complex high-order connectivity between users and items by aggregating information from distant neighbors and can improve the performance of recommender systems. Recently, Knowledge Graphs (KGs) have also been incorporated into the user-item interaction graph to provide more abundant contextual information; they are exploited to address cold-start problems and enable more explainable aggregation in GNN-based recommender systems (GNN-Rs). However, due to the heterogeneous nature of users and items, developing an effective aggregation strategy that works across multiple GNN-Rs, such as LightGCN and KGAT, remains a challenge. In this paper, we propose a novel reinforcement learning-based message passing framework for recommender systems, which we call DPAO (Dual Policy learning framework for Aggregation Optimization). This framework adaptively determines high-order connectivity to aggregate users and items using dual policy learning. Dual policy learning leverages two Deep-Q-Network models to exploit the user- and item-aware feedback from a GNN-R and boost the performance of the target GNN-R. Our proposed framework was evaluated with both non-KG-based and KG-based GNN-R models on six real-world datasets, and their results show that our proposed framework significantly enhances the recent base model, improving nDCG and Recall by up to 63.7% and 42.9%, respectively.
-
- 작성일 2023-03-02
- 조회수 608
-
- 고영중 교수 자연어처리연구실, WSDM 2023 국제 학술대회 논문 게재 승인
- 자연어처리연구실 박선영 석사과정(인공지능학과), 최규리, 유하은 석사과정(소프트웨어학과)의 “Never Too Late to Learn: Regularizing Gender Bias in Coreference Resolution” 논문이 웹 정보 검색 및 데이터 마이닝 분야의 top-tier 국제 학술대회(BK21 CS IF=3)인 WSDM (The 16th ACM International Conference on Web Search and Data Mining) 2023에 최종 논문 게재가 승인되어 2월에 발표될 예정입니다. 본 연구에서는 자연어 이해 태스크 중 하나인 상호 참조 해결로 언어 모델이 학습한 성 고정관념(stereotype)과 편향성(skew)을 완화하고 분석합니다. 사전학습 언어모델은 사전학습 과정에서 언어 이해 능력을 학습할 뿐만 아니라 대용량 코퍼스에 내재된 고정관념과 편향성 역시 학습합니다. 언어모델의 성 편견을 완화하고자 하는 기존 방법들은 편향성 문제 해결에 초점을 맞추고, 고정관념 학습 문제를 해결하지 못하거나 기존 사전학습 언어모델의 언어 이해 능력을 저하시키는 문제 등이 있었습니다. 본 논문에서는 이를 해결하기 위해 고정관념 중화(stereotype neutralization) 기법과 탄력적 변수 강화(elastic weight consolidation) 기법을 제시합니다. 대명사 참조 데이터셋을 이용한 실험 결과, 제안 기법이 사전학습 언어 모델의 성 고정관념과 편향성 문제를 효과적으로 해결한 것을 확인할 수 있었습니다. [논문] Sunyoung Park, Kyuri Choi, Haeun Yu, Youngjoong Ko, “Never Too Late to Learn: Regularizing Gender Bias in Coreference Resolution.”, Proceedings of the 16th ACM International Conference on Web Search and Data Mining (WSDM 2022), February 2023. Abstract: Leveraging pre-trained language models (PLMs) as initializers for efficient transfer learning has become a universal approach for text-related tasks. However, the models not only learn the language understanding abilities but also reproduce prejudices for certain groups in the datasets used for pre-training. Recent studies show that the biased knowledge acquired from the datasets affects the model predictions on downstream tasks. In this paper, we mitigate and analyze the gender biases in PLMs with coreference resolution, which is one of the natural language understanding (NLU) tasks. PLMs exhibit two types of gender biases: stereotype and skew. The primary causes for the biases are the imbalanced datasets with more male examples and the stereotypical examples on gender roles. While previous studies mainly focused on the skew problem, we aim to mitigate both gender biases in PLMs while maintaining the model's original linguistic capabilities. Our method employs two regularization terms, Stereotype Neutralization (SN) and Elastic Weight Consolidation (EWC). The models trained with the methods show to be neutralized and reduce the biases significantly on the WinoBias dataset compared to the public BERT. We also invented a new gender bias quantification metric called the Stereotype Quantification (SQ) score. In addition to the metrics, embedding visualizations were used to interpret how our methods have successfully debiased the models.
-
- 작성일 2023-03-02
- 조회수 521
-
- SAINT 강보석 교수-전자전기공학부 고종환 교수 연구팀, 고분자 물성 예측 및 최적 공정 탐색 시스템 개발
- “실제 제작하지 않아도 알 수 있다”... SAINT 강보석 교수-전자전기공학부 고종환 교수 연구팀, 고분자 물성 예측 및 최적 공정 탐색 시스템 개발 ▲(왼쪽부터) 성균관대 강보석 교수(교신저자), 고종환 교수(교신저자), 소창록 석사과정생(제1저자), 김영신 석사(공동 제1저자) 기존의 소재 탐구 연구는 재료 및 무게 조합 비율 등을 보고 유기 화학 반응의 결과를 예상해 원하는 물성을 갖는 고분자를 합성한다. 하지만 정확한 예측은 불가능하기에, 그동안의 연구는 원하는 생성물을 확인할 때까지 공정을 여러 번 반복되게 된다. 이 때문에 실험 작업은 일반적으로 시간과 비용이 많이 소모된다. 이런 한계를 극복하기 위해 최근에는 인공지능을 활용해 유기 화학 반응의 결과를 예측하는 연구가 학계에 활발히 보고되고 있다. 하지만 예측 정확도를 높이기 위해선 대규모 데이터를 이용하여 인공지능을 학습시켜야 하지만 일반적으로 이에 필요한 충분한 양(천 개 이상)의 고분자의 데이터가 구축 또는 배포돼 있지 않다. 성균나노과학기술원(SAINT) 강보석 교수 연구팀은 과거 연구자들이 축적한 CNT*/ABS** 고분자와 관련된 만 개 이상의 대규모 데이터를 모아, 이를 학습에 활용할 뿐만 아니라 이에 적합한 모델 구조를 설계했다. 그 결과 훈련되지 않은 데이터에서도 인공지능 모델에게 공정 정보를 입력하면 고분자 물성을 매우 우수한 정확도로 예측하였다. 하지만 반대 과정인, 원하는 물성의 고분자를 합성하기 위한 최적의 공정을 탐색하는 과정은 정의역이 여러 개의 치역에 대응되는 문제이기에 인공지능 모델의 학습이 발산되는 문제점이 있다. 따라서 강보석 교수, 고종환 교수 공동연구팀은 몬테 카를로(Monte Carlo) 시뮬레이션을 기존 과정과 결합해 원하는 물성의 고분자를 합성 가능한 최적의 공정을 탐색하는 시스템을 구축했다. * CNT: 탄소 나노튜브를 뜻하며 원기둥 모양의 나노구조를 지니는 탄소의 동소체이다. 탄소 나노튜브는 여러 특이한 성질을 가지고 있어서 나노기술, 전기공학, 광학 및 재료공학 등 다양한 분야에서 유용하게 쓰일 수 있다. ** ABS: 아크릴로나이트릴(Acrylonitrile), 뷰타다이엔(Butadiene), 스타이렌(Styrene)의 약자로 3가지 중 스타이렌이 주원료다. 일반적으로 가공이 쉽고 내충격성이 크고 내열성도 좋은 범용 열가소성 플라스틱이다. 강보석 교수는 "이번 연구로 축적된 많은 양의 데이터를 재사용하여 인공지능을 학습함과 동시에, 효과적인 인공지능 모델 구조를 개발함으로써 높은 예측 정확도를 가진 고분자-인공지능 시스템을 구축할 수 있었다"며 "또한 이 시스템을 활용하면 실험 비용과 시간을 대폭 낮출 수 있어 높은 산업적 효용을 지니고 있다"고 말했다. 이번 논문은 성균관대 인공지능학과 소창록 석사과정이 제1저자로 참여했으며, 전자전기공학부 고종환 교수가 공동 교신저자로 참여했다. 이번 연구 결과는 재료-인공지능 분야 권위있는 학술지 Advanced Intelligent Systems 2월호의 표지논문으로 선정되었다. 이번 연구는 산업통상자원부와 과학기술정보통신부의 지원을 받아 수행됐다.
-
- 작성일 2023-02-24
- 조회수 419
-
- 2022 SKKU-Fellowship 교수 13명 선정 (우사이먼 성일 교수)
- 2022 SKKU-Fellowship 교수 13명 선정 우리 대학은 '2022 SKKU-Fellowship' 교수로 유학대학 신정근 교수, 문과대학 안대회 교수, 경제대학 린슈친 교수, 정보통신대학 김병성 교수, 소프트웨어융합대학 우사이먼성일 교수, 공과대학 박호석 교수, 공과대학 장암 교수, 공과대학 김선국 교수, 생명공학대학 권대혁 교수, 의과대학 박웅양 교수, 의과대학 임호영 교수, 성균나노과학기술원 이진욱 교수, 성균융합원 신현정 교수를 선정했다. SKKU-Fellowship 제도는 우리대학이 2004년부터 수여하는 최고의 영예로, 학문 분야별 연구력수준이 세계적 표준에 안착하였거나 접근 가능성이 높은 최우수교수를 선정하여 파격적인 연구지원과 명예를 부여하는 제도이다. 특히, 2022 SKKU-Fellowship은 "인류와 미래사회를 위한 담대한 도전 Inspiring Future, Grand Challenge" 라는 대학운영방침에 기반하여 우수 전문학술저서 뿐만 아니라 저명 국제컨퍼런스, 최상위 저널과 논문, 산학협력 모델 구축(교육, 기술이전 등), 창업 등 다양한 부문에서 성과를 이룩한 교원을 대상자를 선정하였다. 시상식은 지난 2월 6일(월) 진행되었던 전체교수회의 ‘최우수 Faculty 시상식’에서 실시되었고 세대를 초월하는 Fellowship의 가치 전수를 위해 전년도 수상자인 정현석 교수가 2022 SKKU Fellowship 교수 13명 명단을 발표하였다. 대표 수상소감을 밝힌 문과대학 안대회 교수는 "인문고전정신의 정수인 저서 관련 교내에 본인 외에도 우수한 교수님들이 많으신데 대표자로 선정된 것 관련되어서 책임감이 느껴진다"며 "15년 동안 본인의 전공 관련 저서 및 등재지 등을 꾸준히 발간하면서 노력해왔는데 앞으로도 그 성과가 이어나갈 수 있도록 노력하겠다"고 소감을 밝혔다. 최우수 저널 및 논문 부문에 선정된 공과대학 장암 교수는 "Fellowship 수상이 영광이다. 개인의 성과보다는 소속 연구실 그리고 이 자리에 같이 참여해준 대학원생, 연구원생들과 함께한 성과라서 더 의미가 있다"며 "향후에도 수처리분야의 세계적 전문연구실로 발전해나가겠다"고 포부를 밝혔다. 창업 부문에 선정된 의과대학 박웅양 교수는 "우리 대학이 논문 등 학술 성과도 우수하지만 산학협력, 특히 창업 분야에서도 명성이 높은 대학이 될 수 있도록 많은 교수님들의 창업 도전 그리고 학교의 많은 관심과 지원을 요청드린다"고 말했다. 향후에도 우리 대학은 획일화된 평가에서 벗어나 교원의 다양한 성과와 가치를 발굴하여 인류사회에 공헌하는 초일류 대학으로 발전해나갈 예정이다.
-
- 작성일 2023-02-16
- 조회수 470
-
- 성균관대, 국가보훈처와 함께 AI 활용하여 6·25 전쟁 영웅 사진 복원 프로젝트 진행
- 성균관대, 국가보훈처와 함께 AI 활용하여 6·25 전쟁 영웅 사진 복원 프로젝트 진행 - 故김동석 대령의 장녀 가수 진미령, 흥남철수작전의 에드워드 포니 증손자 벤저민 포니 참석 - 인공지능학과/소프트웨어학과 우사이먼성일, 박은일 교수, 학생 등 참여 우리 대학은 국가보훈처와 함께 빛바랜 흑백사진으로만 남아 있던 6·25전쟁 참전 영웅들의 젊은 시절을 인공지능(AI)딥러닝 기술을 활용하여 컬러사진으로 복원하는 프로젝트를 진행한다. 우리 대학과 국가보훈처는 2월 14일(화) 오후 3시 인문사회과학캠퍼스 600주년기념관에서 '불멸의 6·25전쟁 영웅, 청년으로 돌아오다' 프로젝트 업무협약식을 가졌다. 이날 협약식에는 생존 참전영웅 및 유족, 유지범 총장, 우사이먼성일 소프트웨어학과 교수와 인공지능학과(이광한, 신새별) 및 소프트웨어학과 연구진, 박민식 국가보훈처장, 신민식 자생의료재단 사회공헌위원장 등이 참석하였다. 이번 프로젝트는 6·25 전쟁 당시 찍은 국군 및 유엔군 참전용사들의 빛바랜 흑백사진을 AI 얼굴 복원기술*(GFP-GAN) 및 안면 복원(Face Restoration)을 활용하여 컬러로 복원하고 70여년 전 자유를 수호하던 영웅들의 젊은 시절 모습을 현재적 시점에서 기억하자는 취지에서 추진되었다. * GFP-GAN(Generative Facial Prior-Generative Adversarial Networks): 흐릿하거나 망가진 이미지를 고해상도 이미지로 복원하는 기술 ▲ AI를 활용하여 복원한 김두만 장군의 사진(사진=국가보훈처) 복원대상은 ‘미국정부가 선정한 6·25 전쟁 4대 영웅’*을 비롯해 ‘이달의 전쟁영웅’**으로 선정된 국군 및 유엔군 참전용사 중 사진이 남아있는 100여 명과 생존한 참전용사들이 장롱 속에 고이 간직하고 있던 6·25전쟁 당시 사진 등이며, 복원된 사진은 액자로 제작하여 참전용사 및 유족에게 전달된다. 또한, 국가보훈처는 컬러로 복원한 액자사진은 정전 70주년을 전후해 별도 전시하며, 사진첩으로도 발간할 예정이라고 밝혔다. * 4대 영웅: 유엔군 총사령관 더글라스 맥아더 장군 및 매슈 리지웨이 장군, 다부동 전투를 승리로 이끈 백선엽 장군, 첩보부대의 전설 김동석 대령 ** 이달의 전쟁영웅: 6·25 전쟁 60주년을 계기로 2011년 6월부터 「이달의 전쟁영웅」을 선정하여 2022년 현재까지 총 144명 선정 6·25참전 영웅들의 당시 인물사진을 국가보훈처가 성균관대에 제공하면, 본교 우사이먼성일 교수 연구팀에서는 인공지능(AI) 기술로 사진의 손상된 부분을 복원하고 딥러닝 기술을 활용해 흑백사진을 컬러로 복원하게 된다. 그리고, 박은일 교수 연구팀(https://sites.google.com/view/dxlab/)에서 데이터 처리 및 칼라링 연구를 진행할 예정이다. 한편, 프로젝트를 주도하는 우사이먼성일 교수가 국가유공자의 후손이라는 점도 주변을 놀라게 하였다. 국가유공자인 우 교수의 할아버지는 1946년 복무 수행 도중 33세의 나이로 순직해 현재는 국립묘지에 잠들어 있다. 우사이먼성일 교수는 "우연히 온 기회지만, 이번 프로젝트를 계기로 잊고 있던 할아버지의 사진을 다시 꺼내보았다"며 "할아버지와 같은 유공자 및 유가족 분들께 작은 기쁨이나마 드릴 수 있어 매우 의미 있는 프로젝트"라고 말했다. 유지범 총장은 “지금의 대한민국을 있게 해준 6·25참전영웅들의 젊은 시절이 담겨있는 사진을 복원할 수 있게 되어 매우 뜻깊다”며 “빛바랜 사진이 다시 빛을 발할 수 있도록 프로젝트에 최선을 다하겠다.”고 소감을 전했다. 박민식 국가보훈처장은 “대한민국의 자유를 위해 한 몸을 바쳤던 6·25 참전영웅들의 ‘가장 빛나던 순간’을 소환하는 프로젝트”라며, “참전영웅들이 고이 간직한 및바랜 사진 속 청년들을 복원해 그분들의 젊은 시절을 현재적 시점에서 기억하는 계기가 되길 기대한다”고 밝혔다. 한편, 자생의료재단은 이번 프로젝트를 시작으로 향후 5년간 매년 1,000여 분의 6·25참전유공자의 제복 입은 사진을 촬영하고 액자로 제작하여 선사할 예정이다. ○ 관련 언론보도 - "살아 돌아 오신 것 같다" AI로 되찾은 젊은 전쟁 영웅들의 얼굴 (중앙일보, 2023. 2. 15.)
-
- 작성일 2023-02-16
- 조회수 467
-
- 허재필 교수 연구실, AAAI 2023 논문 2편 게재 승인
- 비주얼컴퓨팅연구실(지도교수: 허재필)의 논문 2편이 인공지능 분야의 Top-tier 학술대회인 AAAI Conference on Artificial Intelligence 2023 (AAAI-23) 에 게재 승인되었습니다. 논문 #1: "Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition" (인공지능학과 박사과정 문원준, 인공지능학과 석박통합과정 성현석) 논문 #2: “Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation” (DMC공학과 석사과정 문종보, 인공지능학과 석박통합과정 김현준, 공동1저자) "Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition" 논문에서는 비디오 데이터 취득할 때 발생하는 데이터 불균형 문제를 다루고 있습니다. 먼저, 데이터 불균형과 함께 비디오 분야에서 추가적으로 고려해야하는 문제점들을 먼저 제기하고 있는데 이는 1) 비디오 데이터에 대한 weak-supervision과 2) 기존의 비디오 데이터의 크기 때문에 사용하던 Pretrained Network가 다운 스트림 작업들에 적합하지 않다는 점입니다. 이를 보완하기 위해 해당 논문에서는 두가지 Attentive Aggregator를 도입하고, 데이터 불균형 문제를 해결하기 위해서는 데이터가 적은 클래스의 다양성을 증가시키는 변형된 외삽과 보간 기법을 제안합니다. 실험을 통해 제안된 방법이 여러 벤치마크에서 일관된 성능 향상을 가져오는 것은 물론, 새롭게 제안하는 벤치마크에서도 성능의 증가가 있음을 확인하였습니다. 추가로, 절제 연구를 통하여 데이터 불균형과 동시에 다루어야 한다고 주장한 두 가지 문제점의 대한 중요도도 실험으로 확인하였습니다. “Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation” 논문에서는 매우 적은 수의 타겟 도메인 이미지만을 가지고 GANs 모델을 Adaptation하는 문제를 다루고 있습니다. 파인-튜닝과 같은 일반적인 방법을 사용하면 Mode-collapse에 취약하기 때문에 Source와 Target 모델이 각각 생성한 이미지들의 상대적인 거리를 유지하도록 학습하는 방법이 최근 연구되고 있지만, 1) 이미지의 전체 특징으로 거리를 측정하는 방식은 Source 모델이 갖는 세부적인 특징이 손실되고, 2) 이미지 패치단위 특징의 일관성을 유지하게 학습하는 방식은 Target 도메인의 구조적인 특성을 잃는 문제가 있습니다. 이를 보완하기 위해 해당 논문에서는 의미 있는 영역 간의 비교(예: 사람의 눈과 캐릭터의 눈 영역 비교)를 통해 Source 모델의 세부적인 특징을 보존하면서도 Target 도메인의 구조적인 특성을 반영하는 Adaptation을 목표로 1) Domain Gap을 줄여주는 Progressive Adaptation, 2) 의미 있는 영역 간의 비교를 위한 Align-free Spatial Correlation, 3) Importance Sampling 방식들을 제안하였습니다. 다양한 실험을 통해 제안한 방법이 정량적, 정성적 평가에서 우수한 성능을 나타내는 것으로 확인하였고, 특히 사람 평가에서도 좋은 결과를 보였습니다. [논문 #1 정보] Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition WonJun Moon, Hyun Seok Seong, and Jae-Pil Heo Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI), 2023 Abstract: A dramatic increase in real-world video volume with extremely diverse and emerging topics naturally forms a long-tailed video distribution in terms of their categories, and it spotlights the need for Video Long-Tailed Recognition (VLTR). In this work, we summarize the challenges in VLTR and explore how to overcome them. The challenges are: (1) it is impractical to re-train the whole model for high-quality features, (2) acquiring frame-wise labels requires extensive cost, and (3) long-tailed data triggers biased training. Yet, most existing works for VLTR unavoidably utilize image-level features extracted from pretrained models which are task-irrelevant, and learn by video-level labels. Therefore, to deal with such (1) task-irrelevant features and (2) video-level labels, we introduce two complementary learnable feature aggregators. Learnable layers in each aggregator are to produce task-relevant representations, and each aggregator is to assemble the snippet-wise knowledge into a video representative. Then, we propose Minority-Oriented Vicinity Expansion (MOVE) that explicitly leverages the class frequency into approximating the vicinity distributions to alleviate (3) biased training. By combining these solutions, our approach achieves state-of-the-art results on large-scale VideoLT and synthetically induced Imbalanced-MiniKinetics200. With VideoLT features from ResNet-50, it attains 18% and 58% relative improvements on head and tail classes over the previous state-of-the-art method, respectively. [논문 #2 정보] Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation Jongbo Moon*, Hyunjun Kim*, and Jae-Pil Heo (*: equal contribution) Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI), 2023 Abstract: In few-shot generative model adaptation, the model for target domain is prone to the mode-collapse. Recent studies attempted to mitigate the problem by matching the relationship among samples generated from the same latent codes in source and target domains. The objective is further extended to image patch-level to transfer the spatial correlation within an instance. However, the patch-level approach assumes the consistency of spatial structure between source and target domains. For example, the positions of eyes in two domains are almost identical. Thus, it can bring visual artifacts if source and target domain images are not nicely aligned. In this paper, we propose a few-shot generative model adaptation method free from such assumption, based on a motivation that generative models are progressively adapting from the source domain to the target domain. Such progressive changes allow us to identify semantically coherent image regions between instances generated by models at a neighboring training iteration to consider the spatial correlation. We also propose an importance-based patch selection strategy to reduce the complexity of patch-level correlation matching. Our method shows the state-of-the-art few-shot domain adaptation performance in the qualitative and quantitative evaluations.
-
- 작성일 2023-01-25
- 조회수 837
-
-
- 과기정통부 인공지능 그랜드 챌린지 시즌1, 성균관대, 엔씨소프트,이스트소프트 최종 우승
- 과학기술정보통신부(장관 이종호, 이하 ‘과기정통부’)는 2022 인공지능 연구개발 경진대회(이하 인공지능 그랜드 챌린지) 시즌1 시상식을 11월 24일(목) 일산 킨텍스에서 개최하였다. ‘인공지능 그랜드 챌린지’는 제시된 문제를 해결하기 위해 참가자들이 자발적으로 진행한 사전 연구를 바탕으로 실력을 겨루는 도전‧경쟁형 경진대회이다. 당초, 단년으로 1차(’17), 2차(’18)대회를 개최하였으나 기술고도화를 위해 2019년부터 다년도 대회로 확대 개편하였으며, 올해 3차~5차 결선 대회가 개최되어 최종 우승팀을 결정하였다. ※ 3차대회(총 4단계, ’19~’22년), 4차대회(총 4단계, ’20~’22년), 5차대회(총 3단계, ‘20~’22년) "인공지능과 로보틱스를 활용하여 복합재난상황에서 발생하는 다양한 임무를 해결하라"를 주제로 개최된 3차대회 는 2019년 7월 1단계 대회(예선)을 시작으로 2022년 11월 4단계 대회(결선)까지 총 175팀, 935명이 참가하였다. 결선 대회에서는 무인이동체(드론)를 활용하여 건물 내 영상, 음성 정보, 요구조자가 보낸 사진, 신고 문자 정보 등을 수집·활용하여, 요구조자의 위치, 인원 수, 장소 등을 파악하는 임무수행 능력을 겨루었고, 엔씨소프트 VARCO팀이 최종 우승을 차지하였다. 4차대회는 “인공지능을 활용하여 다양한 국민생활‧사회현안에 대응하라”는 주제로 2020년 7월 1단계 대회(예선)을 시작으로 2022년 11월 4단계 대회(결선)까지 총 266팀, 1,286명이 참가하였다. 결선 대회에서는 일상생활에서 응급상황, 폭력상황 등을 감지하고, 생활폐기물 등을 실시간으로 구분하는 문제를 출제하여 ㈜이스트소프트 est_nuxlear팀을 최종 우승팀으로 선정하였다. 마지막 5차대회는 “인공지능을 활용하여 서술형 수학문제의 해답을 제시하라”는 주제로 2021년 7월부터 1단계 대회(예선)을 시작으로 2022년 11월 3단계 대회(결선)까지 총 111팀, 592명이 참가하였다. 결선 대회에서는 산술연산, 수찾기(1~3유형), 순서정하기, 조합하기, 크기비교, 도형문제 등 총 8개 유형의 서술형 수학문제가 출제되었고, 성균관대학교 DIAL팀이 최종 우승하였다. 결선 대회 우승팀에게는 과기정통부 장관상(총 3팀), 2위팀에게는 정보통신기획평가원 원장상(총 3팀), 3‧4위팀에게는 한국전자기술연구원 원장상(총 4팀)을 수여하였다. 이번 행사는 저명인사의 기조연설과 인공지능 그랜드 챌린지 최종 결선 진출팀의 연구 성과 홍보를 위한 전시회도 병행하였다.로봇공학 연구의 권위자인 하위 초셋(Howie Choset) 카네기멜론대 교수는 미국 국방고등연국 (DARPA)의 그랜드 챌린지 참여 경험을 공유하였고, 인공지능 그랜드 챌린지 3차대회 참가 경험을 바탕으로 미 국 록히드마틴 사 주최 알파파일럿(Alphapilot, 2020) 대회에서 최종 3위를 수상한 한국과학기술원(KAIST) 연구침 심현철 교수가 국제대회 경험을 설명하였다. 전시회에는 대회 결선에 진출한 10팀이 개발한 인공지능 기술을 시연하고, 자신들만의 대회 우승전략을 함께 소개하였다. 올해 마무리되는 인공지능 그랜드 챌린지 시즌1은 ‘인공지능 기술 저변 확대’를 목적으로 추진하였으며 시즌2는 우리사회 특정분야의 난제해결에 초점을 맞춰 진행할 예정이다. ‘정책 지원 인공지능’을 주제로 인공지능 그래드 챌린지 시즌2 1차대회 예선은 12월15일(목)부터 16일(금)까지 진행되며, 정부혁신에 기여할 수 있는 인공지능 기술 확보를 강조할 예정이다. 과기정통부 엄열 인공지능기반정책관은 “인공지능 그랜드 챌린지에서 최종 수상하신 분들께 진심으로 축하드린다.”며, “인공지능 그랜드 챌린지 대회가 우리나라의 창의적인 인공지능 연구 활성화에 밑거름이 될 수 있도록 지원을 아끼지 않겠다.”고 강조했다. 관련기사 https://www.korea.kr/news/pressReleaseView.do?newsId=156538366&call_from=rsslink https://www.aitimes.kr/news/articleView.html?idxno=26612 http://www.irobotnews.com/news/articleView.html?idxno=30147
-
- 작성일 2022-11-25
- 조회수 1003
-
