문태섭 교수 연구팀, 적응형 평생학습 알고리즘 개발 성공 및 설명가능 인공지능 방법의 취약성 규명
- 인공지능학과
- 조회수1331
- 2019-11-20
성균관대 전자전기공학부 문태섭 교수 연구팀,
적응형 평생학습 알고리즘 개발 성공 및
설명가능 인공지능 방법의 취약성 규명
- 세계 최고 AI/기계학습 학술대회인 신경정보처리학회
(NEURAL INFORMATION PROCESSING SYSTEMS) 에 논문 2편 게재 확정 -
성균관대학교(총장 신동렬) 전자전기공학부 문태섭 교수 연구팀이 인공지능 분야의 두 가지 핵심
기술 개발 - 적응형 평생학습 알고리즘 개발 (공동 1저자 안홍준 석사과정/차성민 박사과정) 및
설명가능 인공지능 방법의 취약성 규명 (공동 제 1저자 허주연 석사과정 / 주성환 석박통합과정) - 에 성공했다고 밝혔다.
본 연구는 과학기술정보통신부(MSIT)의 재원으로 정보통신기획평가원(IITP)의 지원 (No. 2016-0-00563, No. 2019-0-01396, No. 2019-0-00421, IITP-2019-2018-0-01798)과 한국과학기술연구원 (KIST)의 지원 (No. 2E29330)을 받아 수행되었으며, AI/기계학습 문야의 세계 최고 권위의 학술대회인 신경정보처리학회 (Neural Information Processing Systems, NeurIPS)에 2편의 논문으로 12월 게재 확정되었다.
NeurIPS 학술대회는 매년 매우 치열한 경쟁과 엄격한 리뷰과정을 통해 논문들을 채택하는데 (채택률 21.1%) 올해 국내에서 2편 이상 논문이 채택된 단일 연구실은 문태섭 교수 연구실이 유일했다.
[논문1] Hongjoon Ahn*, Sungmin Cha*, Donggyu Lee, and Taesup Moon, “Uncertainty-based Continual Learning with Adaptive Regularization” (*equal contribution)
[논문2] Juyeon Heo*, Sunghwan Joo*, and Taesup Moon, “Fooling Neural Network Interpretations via Adversarial Model Manipulation” (*equal contribution)
연구팀이 첫 번째로 개발한 적응형 평생학습 알고리즘은 기계학습 분야의 오랜 난제 중 하나인, 순차적인 과제들을 계속해서 효율적으로 학습할 수 있는 연속 학습 (Continual learning) 문제를 다루는 알고리즘이다. 본 연구에서는 베이지안 온라인 학습 (Bayesian online learning)에 기반하여 뉴럴 네트워크 모델 파라미터의 불확실성에 대한 정의를 새롭게 함을 통해, 기존의 방법들에 비해 약 30% 이상 적은 메모리를 사용하면서도, 적응적으로 새로운 개념을 익히고 과거의 지식을 점진적으로 망각해 갈 수 있는 알고리즘을 고안하였다. 그 결과, 다양한 지도학습과 강화학습 상황에서 공히 기존 알고리즘들을 압도하는 성능을 내었다.
연구팀이 두 번째로 보인 설명가능 인공지능 방법의 취약성 규명은 최근 딥러닝 알고리즘의 예측 결과를 설명하는데 많이 사용되는 특징 지도 (saliency-map) 기반의 딥러닝 해석 방법 (interpretation method)이 적대적인 모델 조작 (adversarial model manipulation) 에 매우 취약할 수 있다는 것을 보였다. 특징 지도 기반의 딥러닝 해석 방법들은 특히 딥러닝 모델의 편향성 등을 탐지하는 데 중요하게 쓰일 수 있다고 알려져 있는데, 본 연구에서 제안한 적대적 모델 조작을 가하게 되면 예측 정확도는 거의 변하지 않는 상태에서 전혀 판이한 해석 결과가 나올 수 있음을 보였다.
문태섭 교수는 “적응형 평생학습 알고리즘은 실제 AI기술을 사용하는 응용 분야에서 매우 필요로 하는 실용적인 기술이고, 향후 이 기술을 더 발전시킨다면 데이터가 순차적으로 확보될 수 밖에 없는 응용 분야에 널리 쓰일 수 있는 높은 파급력을 가졌다”고 말했다. 또한, “설명가능 인공지능 기술의 취약성을 보인 연구는 향후 더욱 모델과 데이터에 가해지는 적대적인 공격에 더욱 강건한 설명가능 인공지능 기술을 개발하는 데 필수적으로 고려해야 하는 기준을 제시하였다” 고 설명하였다.