CSI 연구실 (지도교수:  김유성) 논문이 인공지능 분야의 Top-tier 국제학술대회 CIKM (Conference on Information and Knowledge Management) 2025에 게재 승인되었습니다.

"Temporal Distance-aware Subgoal Generation for Offline Hierarchical Reinforcement Learning" 논문은 박태건 (석사졸업), 백승호 (석사과정), 박종찬 (박사과정), 오승준 (박사과정) 군이 저자로 참여했습니다.

AI 로봇이 길고 보상 정보가 희소한 작업을 잘 수행하려면 전체 목표를 세부 단계(subgoal)로 나누는 계층적 강화학습(HRL) 이 효과적입니다. 하지만 기존 HRL 연구들은 수집된 데이터의 모든 상태에 대해 일정 간격 단위로 서브골 후보로 삼아 비효율적이고 생성되는 서브골 품질 역시 낮은 한계가 있습니다.

본 논문에서는 자기지도 학습으로 시간 거리(temporal distance) 기반 표현을 사전 학습하여, 시간적으로 효율적인 움직임을 보여준 상태들을 구분할 수 있습니다. 전체 데이터 중 1% 미만의 '앵커 상태(anchor states)' 를 서버골 후보로 선별하여 고수준 정책을 학습합니다. 저수준 정책은 현재 상태가 서브골 방향으로 얼마나 잘 이동는지 기반으로 내재적 보상(intrinsic reward) 을 부여하여 효율적으로 학습할 수 있습니다.

다양한 로봇 제어 환경에서 (either numeric state or visual state) 실험 결과, 기존 최신 기법들보다 약 13.5% 높은 성능을 기록하며 특히 장기 작업에서 우수한 효과를 보였습니다.

| CSI Lab. | https://csi-skku.github.io