Computer Systems & Intelligence 연구실 (지도교수: 김유성) 신원철 석사과정 “Guide to Control: Offline Hierarchical Reinforcement Learning using Subgoal Generation for Long-Horizon and Complex Tasks” 논문이 인공지능 분야 최우수 학회 (BK IF=4) International Joint Conferences on Artificial Intelligence (IJCAI) 2023 에 게재 승인되었습니다.

강화학습은 주어진 환경과 상호작용하며 보상을 최대화하는 행동 정책을 스스로 배울 수 있는 만큼 자율주행, 공정 최적화, 로봇 모션 제어 등 많은 분야에서 활용될 수 있습니다. 그러나 비용 및 안전성 이슈가 발생할 수 있는 만큼 실제 환경에 바로 적용하기에는 어려움이 있습니다. 최근 환경과 상호작용 없이 기존의 운용되었던 로그 데이터만으로 학습이 가능한 '오프라인 강화학습' 기법이 큰 주목을 받고 있습니다. 초기 연구 단계인만큼 임무 과정이 길고 보상이 성공/실패로만 주어지는 환경에서는 학습이 어려운 한계가 있습니다. 본 연구에서는 길고 보상이 드문 임무를 보다 효과적으로 배울 수 있게 단계별 목표 (sub-goal) 를 생성하고 각 sub-goal 로 도달하는 계층적 오프라인 강화학습 기법을 제안합니다. 온라인 검증이 불가한 학습 조건에서 생성한 sub-goal 이 도달 가능함을 보장할 수 있어야 합니다. 이를 위해 비지도 방식으로 latent sub-goal prior 모델을 사전 학습 후 해당 prior 모델을 기반으로 도달 가능한 sub-goal 생성 모델을 설계하였습니다. 제안한 기법은 '4족 로봇 네비게이션', '로봇 팔 움직임 제어', 및 '키친 로봇 환경' 에서 기존 관련 연구들을 크게 상회하는 성능을 보여주었습니다.