-
- 성균관대, 국가보훈처와 함께 AI 활용하여 6·25 전쟁 영웅 사진 복원 프로젝트 진행
- 성균관대, 국가보훈처와 함께 AI 활용하여 6·25 전쟁 영웅 사진 복원 프로젝트 진행 - 故김동석 대령의 장녀 가수 진미령, 흥남철수작전의 에드워드 포니 증손자 벤저민 포니 참석 - 인공지능학과/소프트웨어학과 우사이먼성일, 박은일 교수, 학생 등 참여 우리 대학은 국가보훈처와 함께 빛바랜 흑백사진으로만 남아 있던 6·25전쟁 참전 영웅들의 젊은 시절을 인공지능(AI)딥러닝 기술을 활용하여 컬러사진으로 복원하는 프로젝트를 진행한다. 우리 대학과 국가보훈처는 2월 14일(화) 오후 3시 인문사회과학캠퍼스 600주년기념관에서 '불멸의 6·25전쟁 영웅, 청년으로 돌아오다' 프로젝트 업무협약식을 가졌다. 이날 협약식에는 생존 참전영웅 및 유족, 유지범 총장, 우사이먼성일 소프트웨어학과 교수와 인공지능학과(이광한, 신새별) 및 소프트웨어학과 연구진, 박민식 국가보훈처장, 신민식 자생의료재단 사회공헌위원장 등이 참석하였다. 이번 프로젝트는 6·25 전쟁 당시 찍은 국군 및 유엔군 참전용사들의 빛바랜 흑백사진을 AI 얼굴 복원기술*(GFP-GAN) 및 안면 복원(Face Restoration)을 활용하여 컬러로 복원하고 70여년 전 자유를 수호하던 영웅들의 젊은 시절 모습을 현재적 시점에서 기억하자는 취지에서 추진되었다. * GFP-GAN(Generative Facial Prior-Generative Adversarial Networks): 흐릿하거나 망가진 이미지를 고해상도 이미지로 복원하는 기술 ▲ AI를 활용하여 복원한 김두만 장군의 사진(사진=국가보훈처) 복원대상은 ‘미국정부가 선정한 6·25 전쟁 4대 영웅’*을 비롯해 ‘이달의 전쟁영웅’**으로 선정된 국군 및 유엔군 참전용사 중 사진이 남아있는 100여 명과 생존한 참전용사들이 장롱 속에 고이 간직하고 있던 6·25전쟁 당시 사진 등이며, 복원된 사진은 액자로 제작하여 참전용사 및 유족에게 전달된다. 또한, 국가보훈처는 컬러로 복원한 액자사진은 정전 70주년을 전후해 별도 전시하며, 사진첩으로도 발간할 예정이라고 밝혔다. * 4대 영웅: 유엔군 총사령관 더글라스 맥아더 장군 및 매슈 리지웨이 장군, 다부동 전투를 승리로 이끈 백선엽 장군, 첩보부대의 전설 김동석 대령 ** 이달의 전쟁영웅: 6·25 전쟁 60주년을 계기로 2011년 6월부터 「이달의 전쟁영웅」을 선정하여 2022년 현재까지 총 144명 선정 6·25참전 영웅들의 당시 인물사진을 국가보훈처가 성균관대에 제공하면, 본교 우사이먼성일 교수 연구팀에서는 인공지능(AI) 기술로 사진의 손상된 부분을 복원하고 딥러닝 기술을 활용해 흑백사진을 컬러로 복원하게 된다. 그리고, 박은일 교수 연구팀(https://sites.google.com/view/dxlab/)에서 데이터 처리 및 칼라링 연구를 진행할 예정이다. 한편, 프로젝트를 주도하는 우사이먼성일 교수가 국가유공자의 후손이라는 점도 주변을 놀라게 하였다. 국가유공자인 우 교수의 할아버지는 1946년 복무 수행 도중 33세의 나이로 순직해 현재는 국립묘지에 잠들어 있다. 우사이먼성일 교수는 "우연히 온 기회지만, 이번 프로젝트를 계기로 잊고 있던 할아버지의 사진을 다시 꺼내보았다"며 "할아버지와 같은 유공자 및 유가족 분들께 작은 기쁨이나마 드릴 수 있어 매우 의미 있는 프로젝트"라고 말했다. 유지범 총장은 “지금의 대한민국을 있게 해준 6·25참전영웅들의 젊은 시절이 담겨있는 사진을 복원할 수 있게 되어 매우 뜻깊다”며 “빛바랜 사진이 다시 빛을 발할 수 있도록 프로젝트에 최선을 다하겠다.”고 소감을 전했다. 박민식 국가보훈처장은 “대한민국의 자유를 위해 한 몸을 바쳤던 6·25 참전영웅들의 ‘가장 빛나던 순간’을 소환하는 프로젝트”라며, “참전영웅들이 고이 간직한 및바랜 사진 속 청년들을 복원해 그분들의 젊은 시절을 현재적 시점에서 기억하는 계기가 되길 기대한다”고 밝혔다. 한편, 자생의료재단은 이번 프로젝트를 시작으로 향후 5년간 매년 1,000여 분의 6·25참전유공자의 제복 입은 사진을 촬영하고 액자로 제작하여 선사할 예정이다. ○ 관련 언론보도 - "살아 돌아 오신 것 같다" AI로 되찾은 젊은 전쟁 영웅들의 얼굴 (중앙일보, 2023. 2. 15.)
-
- 작성일 2023-02-16
- 조회수 1588
-
- 허재필 교수 연구실, AAAI 2023 논문 2편 게재 승인
- 비주얼컴퓨팅연구실(지도교수: 허재필)의 논문 2편이 인공지능 분야의 Top-tier 학술대회인 AAAI Conference on Artificial Intelligence 2023 (AAAI-23) 에 게재 승인되었습니다. 논문 #1: "Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition" (인공지능학과 박사과정 문원준, 인공지능학과 석박통합과정 성현석) 논문 #2: “Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation” (DMC공학과 석사과정 문종보, 인공지능학과 석박통합과정 김현준, 공동1저자) "Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition" 논문에서는 비디오 데이터 취득할 때 발생하는 데이터 불균형 문제를 다루고 있습니다. 먼저, 데이터 불균형과 함께 비디오 분야에서 추가적으로 고려해야하는 문제점들을 먼저 제기하고 있는데 이는 1) 비디오 데이터에 대한 weak-supervision과 2) 기존의 비디오 데이터의 크기 때문에 사용하던 Pretrained Network가 다운 스트림 작업들에 적합하지 않다는 점입니다. 이를 보완하기 위해 해당 논문에서는 두가지 Attentive Aggregator를 도입하고, 데이터 불균형 문제를 해결하기 위해서는 데이터가 적은 클래스의 다양성을 증가시키는 변형된 외삽과 보간 기법을 제안합니다. 실험을 통해 제안된 방법이 여러 벤치마크에서 일관된 성능 향상을 가져오는 것은 물론, 새롭게 제안하는 벤치마크에서도 성능의 증가가 있음을 확인하였습니다. 추가로, 절제 연구를 통하여 데이터 불균형과 동시에 다루어야 한다고 주장한 두 가지 문제점의 대한 중요도도 실험으로 확인하였습니다. “Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation” 논문에서는 매우 적은 수의 타겟 도메인 이미지만을 가지고 GANs 모델을 Adaptation하는 문제를 다루고 있습니다. 파인-튜닝과 같은 일반적인 방법을 사용하면 Mode-collapse에 취약하기 때문에 Source와 Target 모델이 각각 생성한 이미지들의 상대적인 거리를 유지하도록 학습하는 방법이 최근 연구되고 있지만, 1) 이미지의 전체 특징으로 거리를 측정하는 방식은 Source 모델이 갖는 세부적인 특징이 손실되고, 2) 이미지 패치단위 특징의 일관성을 유지하게 학습하는 방식은 Target 도메인의 구조적인 특성을 잃는 문제가 있습니다. 이를 보완하기 위해 해당 논문에서는 의미 있는 영역 간의 비교(예: 사람의 눈과 캐릭터의 눈 영역 비교)를 통해 Source 모델의 세부적인 특징을 보존하면서도 Target 도메인의 구조적인 특성을 반영하는 Adaptation을 목표로 1) Domain Gap을 줄여주는 Progressive Adaptation, 2) 의미 있는 영역 간의 비교를 위한 Align-free Spatial Correlation, 3) Importance Sampling 방식들을 제안하였습니다. 다양한 실험을 통해 제안한 방법이 정량적, 정성적 평가에서 우수한 성능을 나타내는 것으로 확인하였고, 특히 사람 평가에서도 좋은 결과를 보였습니다. [논문 #1 정보] Minority-Oriented Vicinity Expansion with Attentive Aggregation for Video Long-Tailed Recognition WonJun Moon, Hyun Seok Seong, and Jae-Pil Heo Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI), 2023 Abstract: A dramatic increase in real-world video volume with extremely diverse and emerging topics naturally forms a long-tailed video distribution in terms of their categories, and it spotlights the need for Video Long-Tailed Recognition (VLTR). In this work, we summarize the challenges in VLTR and explore how to overcome them. The challenges are: (1) it is impractical to re-train the whole model for high-quality features, (2) acquiring frame-wise labels requires extensive cost, and (3) long-tailed data triggers biased training. Yet, most existing works for VLTR unavoidably utilize image-level features extracted from pretrained models which are task-irrelevant, and learn by video-level labels. Therefore, to deal with such (1) task-irrelevant features and (2) video-level labels, we introduce two complementary learnable feature aggregators. Learnable layers in each aggregator are to produce task-relevant representations, and each aggregator is to assemble the snippet-wise knowledge into a video representative. Then, we propose Minority-Oriented Vicinity Expansion (MOVE) that explicitly leverages the class frequency into approximating the vicinity distributions to alleviate (3) biased training. By combining these solutions, our approach achieves state-of-the-art results on large-scale VideoLT and synthetically induced Imbalanced-MiniKinetics200. With VideoLT features from ResNet-50, it attains 18% and 58% relative improvements on head and tail classes over the previous state-of-the-art method, respectively. [논문 #2 정보] Progressive Few-shot Adaption of Generative Model with Align-free Spatial Correlation Jongbo Moon*, Hyunjun Kim*, and Jae-Pil Heo (*: equal contribution) Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI), 2023 Abstract: In few-shot generative model adaptation, the model for target domain is prone to the mode-collapse. Recent studies attempted to mitigate the problem by matching the relationship among samples generated from the same latent codes in source and target domains. The objective is further extended to image patch-level to transfer the spatial correlation within an instance. However, the patch-level approach assumes the consistency of spatial structure between source and target domains. For example, the positions of eyes in two domains are almost identical. Thus, it can bring visual artifacts if source and target domain images are not nicely aligned. In this paper, we propose a few-shot generative model adaptation method free from such assumption, based on a motivation that generative models are progressively adapting from the source domain to the target domain. Such progressive changes allow us to identify semantically coherent image regions between instances generated by models at a neighboring training iteration to consider the spatial correlation. We also propose an importance-based patch selection strategy to reduce the complexity of patch-level correlation matching. Our method shows the state-of-the-art few-shot domain adaptation performance in the qualitative and quantitative evaluations.
-
- 작성일 2023-01-25
- 조회수 1931
-
-
- 과기정통부 인공지능 그랜드 챌린지 시즌1, 성균관대, 엔씨소프트,이스트소프트 최종 우승
- 과학기술정보통신부(장관 이종호, 이하 ‘과기정통부’)는 2022 인공지능 연구개발 경진대회(이하 인공지능 그랜드 챌린지) 시즌1 시상식을 11월 24일(목) 일산 킨텍스에서 개최하였다. ‘인공지능 그랜드 챌린지’는 제시된 문제를 해결하기 위해 참가자들이 자발적으로 진행한 사전 연구를 바탕으로 실력을 겨루는 도전‧경쟁형 경진대회이다. 당초, 단년으로 1차(’17), 2차(’18)대회를 개최하였으나 기술고도화를 위해 2019년부터 다년도 대회로 확대 개편하였으며, 올해 3차~5차 결선 대회가 개최되어 최종 우승팀을 결정하였다. ※ 3차대회(총 4단계, ’19~’22년), 4차대회(총 4단계, ’20~’22년), 5차대회(총 3단계, ‘20~’22년) "인공지능과 로보틱스를 활용하여 복합재난상황에서 발생하는 다양한 임무를 해결하라"를 주제로 개최된 3차대회 는 2019년 7월 1단계 대회(예선)을 시작으로 2022년 11월 4단계 대회(결선)까지 총 175팀, 935명이 참가하였다. 결선 대회에서는 무인이동체(드론)를 활용하여 건물 내 영상, 음성 정보, 요구조자가 보낸 사진, 신고 문자 정보 등을 수집·활용하여, 요구조자의 위치, 인원 수, 장소 등을 파악하는 임무수행 능력을 겨루었고, 엔씨소프트 VARCO팀이 최종 우승을 차지하였다. 4차대회는 “인공지능을 활용하여 다양한 국민생활‧사회현안에 대응하라”는 주제로 2020년 7월 1단계 대회(예선)을 시작으로 2022년 11월 4단계 대회(결선)까지 총 266팀, 1,286명이 참가하였다. 결선 대회에서는 일상생활에서 응급상황, 폭력상황 등을 감지하고, 생활폐기물 등을 실시간으로 구분하는 문제를 출제하여 ㈜이스트소프트 est_nuxlear팀을 최종 우승팀으로 선정하였다. 마지막 5차대회는 “인공지능을 활용하여 서술형 수학문제의 해답을 제시하라”는 주제로 2021년 7월부터 1단계 대회(예선)을 시작으로 2022년 11월 3단계 대회(결선)까지 총 111팀, 592명이 참가하였다. 결선 대회에서는 산술연산, 수찾기(1~3유형), 순서정하기, 조합하기, 크기비교, 도형문제 등 총 8개 유형의 서술형 수학문제가 출제되었고, 성균관대학교 DIAL팀이 최종 우승하였다. 결선 대회 우승팀에게는 과기정통부 장관상(총 3팀), 2위팀에게는 정보통신기획평가원 원장상(총 3팀), 3‧4위팀에게는 한국전자기술연구원 원장상(총 4팀)을 수여하였다. 이번 행사는 저명인사의 기조연설과 인공지능 그랜드 챌린지 최종 결선 진출팀의 연구 성과 홍보를 위한 전시회도 병행하였다.로봇공학 연구의 권위자인 하위 초셋(Howie Choset) 카네기멜론대 교수는 미국 국방고등연국 (DARPA)의 그랜드 챌린지 참여 경험을 공유하였고, 인공지능 그랜드 챌린지 3차대회 참가 경험을 바탕으로 미 국 록히드마틴 사 주최 알파파일럿(Alphapilot, 2020) 대회에서 최종 3위를 수상한 한국과학기술원(KAIST) 연구침 심현철 교수가 국제대회 경험을 설명하였다. 전시회에는 대회 결선에 진출한 10팀이 개발한 인공지능 기술을 시연하고, 자신들만의 대회 우승전략을 함께 소개하였다. 올해 마무리되는 인공지능 그랜드 챌린지 시즌1은 ‘인공지능 기술 저변 확대’를 목적으로 추진하였으며 시즌2는 우리사회 특정분야의 난제해결에 초점을 맞춰 진행할 예정이다. ‘정책 지원 인공지능’을 주제로 인공지능 그래드 챌린지 시즌2 1차대회 예선은 12월15일(목)부터 16일(금)까지 진행되며, 정부혁신에 기여할 수 있는 인공지능 기술 확보를 강조할 예정이다. 과기정통부 엄열 인공지능기반정책관은 “인공지능 그랜드 챌린지에서 최종 수상하신 분들께 진심으로 축하드린다.”며, “인공지능 그랜드 챌린지 대회가 우리나라의 창의적인 인공지능 연구 활성화에 밑거름이 될 수 있도록 지원을 아끼지 않겠다.”고 강조했다. 관련기사 https://www.korea.kr/news/pressReleaseView.do?newsId=156538366&call_from=rsslink https://www.aitimes.kr/news/articleView.html?idxno=26612 http://www.irobotnews.com/news/articleView.html?idxno=30147
-
- 작성일 2022-11-25
- 조회수 2163
-
-
-
-
- 우사이먼성일 교수 연구실(DASH) 2022년 PIDICON 개인정보 가명•익명 처리 기술 경진대회 장려상 수상
- 최근 인공지능 분야를 비롯하여 많은 양의 데이터를 활용하는 분야가 점차 증가하고 있습니다. 그에 따라 데이터 속에 포함 되어있는 개인정보 보호가 아주 중요한 이슈로 부상하고 있습니다. 과학기술정보통신부 주최, 한국인터넷진흥원에서 주관하는 “2022 개인정보 가명익〮명 처리 기술 경진대회”는 이러한 문제를 인식하고 이를 예방하기 위하여 다양한 정보보호 기법들을 효과적으로 적용시키는 방법에 대하여 고민해보는 대회라고 볼 수 있습니다. 위와 같은 대회에 DASH LAB(인공지능학과 석사과정 김민하, 소프트웨어학과 박사과정 박은주, 소프트웨어학과 학사과정 안현준, 소프트웨어학과 학사과정 진송찬)( https://dash-lab.github.io)이 참여하여 준수한 성적으로 장려상을 수상하게 되었습니다. 열심히 참여해준 학생들의 수상을 진심으로 축하합니다. 관련 링크 (https://pidicon.kr/)
-
- 작성일 2022-11-23
- 조회수 1332
-
- 박은병 교수 연구팀 AAAI2023 논문 게재 승인 및 NeurIPS 2022 Workshop spotligt 선정
- 전자전기공학부/인공지능학과 박은병 교수 연구팀과 수학과 홍영준, 윤석배 교수의 최근 연구 결과가 인공지능분야 최우수 학술대회중 하나인 AAAI 2023 (37th AAAI Conference on Artificial Intelligence)에 게재 승인 되었다. 또한, 이 연구는 NeurIPS 2022에서 개최하는 DLDE-II 워크샵에 spotlight으로 선정되어 15분 발표 세션을 맡게 되었으며 총 6편의 논문에게만 구두 발표의 기회가 주어졌다. 매년 수 천편 이상의 논문이 발표되는 인공지능 분야에서 연구 결과를 널리 알릴 수 있는 좋은 기회가 될 것으로 기대된다. 논문: “Physics-Informed Cell Representations for Fast and Accurate PDE Solvers”, 강남규, 이병현, 홍영준, 윤석배, 박은병 연구 홈페이지: PIXEL: Physics-Informed Cell Representations for Fast and Accurate PDE Solvers (namgyukang.github.io) NeurIPS 워크샵 홈페이지: The Symbiosis of Deep Learning and Differential Equations (DLDE) (dlde-2022.github.io) 편미분방정식은 많은 공학 및 과학 분야에서 물리현상을 모델링할 때 사용되는 방정식이다. 그 해법을 구하는 것이 매우 어려운 것으로 알려져 있으며, 최근 인공지능 모델을 사용하여 해법을 구하는 연구가 주목을 받고 있다. 본 연구는 기존의 수치해석적 기법과 최근의 인공지능 방법론의 장단점을 결합하여 좀 더 빠르고 정확하게 편미분 방정식 해를 구하는 방법론을 제안하였다. 수치해석과 기계학습 방법의 조합하는 기초를 마련했으며 추후 확장성이 매우 기대되는 연구이다. 초록: With the increases in computational power and advances in machine learning, data-driven learning-based methods have gained significant attention in solving PDEs. Physics-informed neural networks (PINNs) have recently emerged and succeeded in various forward and inverse PDEs problems thanks to their excellent properties, such as flexibility, mesh-free solutions, and unsupervised training. However, their slower convergence speed and relatively inaccurate solutions often limit their broader applicability in many science and engineering domains. This paper proposes a new kind of data-driven PDEs solver, physics-informed cell representations (PIXEL), elegantly combining classical numerical methods and learning-based approaches. We adopt a grid structure from the numerical methods to improve accuracy and convergence speed and overcome the spectral bias presented in PINNs. Moreover, the proposed method enjoys the same benefits in PINNs, e.g., using the same optimization frameworks to solve both forward and inverse PDE problems and readily enforcing PDE constraints with modern automatic differentiation techniques. We provide experimental results on various challenging PDEs that the original PINNs have struggled with and show that PIXEL achieves fast convergence speed and high accuracy.
-
- 작성일 2022-11-23
- 조회수 1329
-
- 김유성 교수 연구실 (하정수, 김경수 석사과정 졸업생) AAAI 2023 논문 게재 승인
- CSI (Computer Systems and Intelligence) Lab. (지도교수:김유성) 논문이 인공지능 최우수학회인 AAAI 2023(37th AAAI Conference on Artificial Intelligence) 에 게재 승인되었습니다. 논문 "Dream to Generaliza: Zero-Shot Model-based Reinforcement Learning for Unseen Visual Distractions" 은 하정수(삼성전자)석자과정 학위 논문으로 김경수(NcSoft) 석사과정 졸업생이 함께 참여하였습니다. 카메라 이미지를 입력받아 로봇,자동차, 공정 등을 제어하는 비전 기반 강화학습연구는 주로 배경이 단순한 환경에서 학습 효율성을 높이는 연구가 진행되었습니다. 그러나 학습 후 테스트시에는 다양한 시각적 방해요소가 (예:그림자, 구름, 날씨 변화 등) 등장할 수 있는 만큼 학습의 일반화 및 강건한 제어가 요구됩니다. 특히 본 논문에서는 고차원 입지미를 효율적으로 학습할 수 있는 Model-based 강화학습 기법에 처음으로 제로샷(zero-shot)학습이 가능함을 보였습니다. 시각적 방해요소에 강건한 자기지도 학습 기반 Dual Contrastive Learning 모듈과 Recurrent State Inverse Dynamics 모듈을 제안하였으며, 다양한 비전 기반 로봇 제어 환경에서 학습 시 경험하지 못한 배경 화면의 큰 변화에 대해서도 추가 학습 없이 강건히 동작하였습니다.
-
- 작성일 2022-11-22
- 조회수 1182