성균관대학교 인공지능대학원

본문 바로가기
주메뉴 바로가기
서브메뉴 바로가기

2022 대한민국인공지능대상 교육기관 대상

AI colloquium 2024

Notice

공지사항
Read More

News

인공지능학과

자연어처리연구실(NLP lab, 지도교수: 고영중), EMNLP 2025에 논문 2편 게재
2025-10-30
자연어처리연구실(NLP lab, 지도교수: 고영중)의 논문 2편이 인공지능 및 자연어처리 분야의 Top-tier 국제학술대회인 EMNLP 2025(The 2025 Conference on Empirical Methods in Natural Language Processing)의 Main Track(long paper)에 게재되었습니다. 논문: ECO Decoding: Entropy-Based Control for Controllability and Fluency in Controllable Dialogue Generation, Main Track (long paper) (인공지능학과 석사과정 신승민, 인공지능학과 박사과정 김두영) 논문 요약: 본 연구에서는 기존의 속성 제어 연구 방법론 중 하나인 가중치 기반 생성(Weighted Decoding)에서 엔트로피 기반의 동적인 가중치를 활용하는 방법을 제안합니다. 가중치 기반 생성 방법은 생성 AI의 확률 분포에 각 토큰이 생성될 경우 제어하고자 하는 속성으로 분류될 확률 분포를 결합하여 최종 확률 분포를 계산합니다. 따라서 생성 AI의 추가적인 학습 없이 속성 분류기만을 학습하여 최소한의 학습으로 속성을 제어할 수 있으며, plug-and-play 방식으로 효율적인 활용이 가능합니다. 기존의 가중치 기반 생성 방법은 두 확률 분포의 가중치를 실험적으로 선택하지만, 이러한 방식은 경우에 따라 생성 품질을 저하하거나 속성 제어가 잘 이뤄지지 않을 수 있습니다. 이러한 문제를 해결하기 위해서는 응답에 생성되는 과정에 따라 동적으로 가중치를 할당할 수 있어야 합니다. 본 연구에서는 이러한 동적인 가중치를 할당하기 위해 각 확률 분포의 엔트로피를 활용하였습니다. 엔트로피는 확률 분포의 불확실성을 정량화하는 값입니다. 엔트로피가 높은 경우 선택 가능한 합리적인 토큰 후보가 많고, 엔트로피가 낮은 경우 선택 가능한 토큰이 제한적이라는 점에서 착안하여 엔트로피에 반비례하는 동적인 가중치를 설계하였습니다. 2가지 대화 데이터셋에서 다양한 베이스라인 가중치 기반 생성 기법에 동적인 가중치를 적용한 결과, 추가적인 학습 과정 없이도 높은 생성 품질을 유지하면서 속성 제어가 가능함을 실험적으로 증명하였습니다. 또한 다양한 모델 사이즈에서도 모두 성공적인 제어 결과를 확인할 수 있었습니다. 또한 기존의 가중치 기반 생성 기법에서 다루기 어려웠던 다중 속성 제어 환경에서도 성공적인 성능 향상을 달성할 수 있었습니다. Abstract: Controllable Dialogue Generation (CDG) enables chatbots to generate responses with desired attributes, and weighted decoding methods have achieved significant success in the CDG task. However, using a fixed constant value to manage the bias of attribute probabilities makes it challenging to find an ideal control strength that satisfies both controllability and fluency. To address this issue, we propose ECO decoding (Entropy-based COntrol), which dynamically adjusts the control strength at each generation step according to the model’s entropy in both the language model and attribute classifier probability distributions. Experiments on the DailyDialog and MultiWOZ datasets demonstrate that ECO decoding consistently improves controllability while maintaining fluency and grammaticality, outperforming prior decoding methods across various models and settings. Furthermore, ECO decoding alleviates probability interpolation issues in multiattribute generation and consequently demonstrates strong performance in both single- and multi-attribute scenarios. 논문: Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval, Main Track (long paper) (인공지능학과 석사과정 박성완, 인공지능학과 석사과정 김택림) 논문 요약: 밀집 문서 검색(Dense Passage Retrieval, DPR)은 우수한 성능을 보이지만, dense embedding의 불투명성으로 인해 검색 결과에 대한 설명 가능성과 신뢰성에 한계가 있습니다. 본 연구는 희소 오토인코더(Sparse Autoencoder, SAE)를 활용하여 DPR의 dense embedding을 해석 가능한 latent concept로 분해하고, 각 concept에 대해 대규모 언어 모델(LLM)을 이용해 자연어 설명을 생성하는 새로운 해석 프레임워크를 제안하고, 다양한 정성적·정량적 실험을 통해 DPR 모델에 대한 SAE 기반 해석의 타당성과 효과성을 검증하였습니다. 더불어, 기존 단어 기반 sparse retrieval 대신, latent concept를 정보 검색 단위로 활용하는 Concept-Level Sparse Retrieval (CL-SR) 구조를 제안하였습니다. 이는 sparse retrieval의 효율성과 해석 가능성을 유지하면서도 dense retrieval 수준의 표현력과 의미적 강건성을 동시에 활용할 수 있는 구조로, 기존 sparse 모델에 비해 높은 검색 효율성과 정확도를 보였으며, 의미 불일치 상황에서도 우수한 성능을 유지하였습니다. Abstract: Despite their strong performance, Dense Passage Retrieval (DPR) models suffer from a lack of interpretability. In this work, we propose a novel interpretability framework that leverages Sparse Autoencoders (SAEs) to decompose previously uninterpretable dense embeddings from DPR models into distinct, interpretable latent concepts. We generate natural language descriptions for each latent concept, enabling human interpretations of both the dense embeddings and the query-document similarity scores of DPR models. We further introduce Concept-Level Sparse Retrieval (CL-SR), a retrieval framework that directly utilizes the extracted latent concepts as indexing units. CL-SR effectively combines the semantic expressiveness of dense embeddings with the transparency and efficiency of sparse representations. We show that CL-SR achieves high computational and storage efficiency while maintaining robust performance across vocabulary and semantic mismatches. 고영중 교수: yjko@skku.edu, nlp.skku.edu, 자연어처리연구실: nlplab.skku.edu

[IT조선] 이지형 성균관대 교수 “AI 시대 달라진 사람의 위상, 기본이 더 중요해져” [AI 2025]
2025-10-22
[인터뷰] 이지형 성균관대 교수 “AI 시대 달라진 사람의 위상, 기본이 더 중요해져” [AI 2025] 2025.10.20.

우사이먼성일 교수 연구실 (DASH연구실), NeurIPS 2025 논문 2편 게재 승인
2025-10-13
DASH연구실 (지도교수: 우사이먼성일)의 논문이 인공지능 분야 우수학회인 NeurIPS2025 (The Thirty-Ninth Annual Conference on Neural Information Processing Systems)에 2편 논문이 게재 승인(Accept) 되었습니다. 논문은 25년 12월 샌디에고 컨벤션 센터에서 발표될 예정입니다. 1. 논문 “Through the Lens: Benchmarking Deepfake Detectors Against Moiré-Induced Distortions”은 소프트웨어학과 Razaib Tariq(소프트웨어학과 박사과정, 공동 제1저자), 인공지능학과 허민지(인공지능학과 석사졸업생, 공동 제1저자), Shahroz Tariq(CSIRO, Data61) 연구원이 저자로 참여했습니다. (교신저자: 우사이먼성일 교수) (Datasets and Benchmarks Track) 본 연구에서는 스마트폰으로 디지털 화면을 촬영할때 발생하는 모아레(Moiré) 아티팩트가 딥페이크 탐지 성능을 저하한다는 문제를 다룹니다. 이를 위해 모아레패턴이 포함된 동영상에 대해 최신 딥페이크 탐지 모델들을 체계적으로 평가하였습니다. Celeb-DF, DFD, DFDC, UADFV, FF++에서 총 12,832개(35.64시간 분량)의 영상을 수집하고, 다양한 디스플레이 스크린, 스마트폰 기종, 조명유무, 카메라 각도 등 실제 사용 조건을 폭넓게 반영하였습니다. 또한 모아레 패턴의 영향을 정밀하게 분석하기 위해, 자체 구축한 DeepMoiréFake(DMF) 데이터셋과 두 가지 합성 모아레 생성 기법을 활용해 추가 실험을 수행했습니다. 실험 결과, 15개의 탐지 모델 전반에서 모아레 아티팩트로 인해 성능이 최대 25.4%까지 저하되었고, 합성 모아레 역시 정확도를 21.4% 감소시켰습니다. 더욱이 완화 방안으로 사용되는 디모아레(모아레 제거) 기법은 오히려 문제를 악화시켜 정확도를 최대 16%까지 낮추는 것으로 나타났습니다. 이러한 결과는 압축, 샤프닝, 블러링 등 다른 현실적 변동 요인과 함께 모아레 왜곡에 견고한 탐지 모델의 필요성을 강조합니다. 본 연구는 DMF 데이터셋을 제시함으로써, 통제된 실험 환경과 실제 딥페이크 탐지 환경 사이의 격차 해소를 위한 벤치마크를 제공합니다. Deepfake detection remains a pressing challenge, particularly in real-world settings where smartphone-captured media from digital screens often introduces Moiré artifacts that can distort detection outcomes. This study systematically evaluates state-of-the-art (SOTA) deepfake detectors on Moiré-affected videos—an issue that has received little attention. We collected a dataset of 12,832 videos, spanning 35.64 hours, from Celeb-DF, DFD, DFDC, UADFV, and FF++ datasets, capturing footage under diverse real-world conditions, including varying screens, smartphones, lighting setups, and camera angles. To further examine the influence of Moiré patterns on deepfake detection, we conducted additional experiments using our DeepMoiréFake, referred to as (DMF) dataset, and two synthetic Moiré generation techniques. Across 15 top-performing detectors, our results show that Moiré artifacts degrade performance by as much as 25.4%, while synthetically generated Moiré patterns lead to a 21.4% drop in accuracy. Surprisingly, demoiréing methods, intended as a mitigation approach, instead worsened the problem, reducing accuracy by up to 16%. These findings underscore the urgent need for detection models that can robustly handle Moiré distortions alongside other real-world challenges, such as compression, sharpening, and blurring. By introducing the DMF dataset, we aim to drive future research toward closing the gap between controlled experiments and practical deepfake detection. 2. 논문 “RUAGO: Effective and Practical Retain-Free Unlearning via Adversarial Attack and OOD Generator”은 소프트웨어학과 이상용(소프트웨어학과 박사과정, 제1저자), 인공지능학과 정상준(인공지능학과 석사과정, 제2저자)연구원이 저자로 참여했습니다. (교신저자: 우사이먼성일 교수) (Main Track) 본 연구에서는 머신 언러닝 분야에서 보존 데이터(retain data)에 접근할 수 없는 환경에서 모델이 특정 데이터를 효과적으로 잊도록 하는 문제를 다루었습니다. 일반적으로 언러닝 과정에서는 잊어야 할 데이터(forget data)를 제거하면서 나머지 데이터의 성능을 유지해야 하지만, 보존 데이터에 접근하지 못할 경우 모델의 성능 저하가 심각하게 발생합니다. 이를 해결하기 위해서 RUAGO(Retain-free Unlearning via Adversarial attack and Generative model using OOD traning)라는 새로운 프레임워크를 제안합니다. RUAGO는 세 가지 핵심 요소를 통해 안정적이고 효과적인 언러닝을 달성합니다. 첫째, Adversarial Probability Module (APM)을 통해 forget data에 대해 단일 클래스(one-hot) 레이블 대신 soft label 기반 adversarial 확률을 사용하여 과도한 언러닝을 방지합니다. 둘째, Out-of-Distribution (OOD) 데이터로 학습된 생성 모델을 활용하여 보존 데이터 없이도 원본 모델의 지식을 보존합니다. 이때 생성된 합성 데이터는 모델의 내부 표현에 근접하도록 모델 인버전(model inversion) 과정을 거쳐 정제됩니다. 셋째, Sample Difficulty Scheduler를 도입하여 쉬운 샘플에서 어려운 샘플로 점진적으로 학습하는 Curriculum Learning 기반 지식 증류 전략을 적용했습니다. 이를 통해 학습 초기의 안정성과 후반의 일반화 성능을 동시에 확보하였습니다 CIFAR-10, CIFAR-100, TinyImageNet, VGGFace2 등의 다양한 데이터셋을 대상으로 실험한 결과, RUAGO는 기존 retain-free 방법들을 크게 능가하며, 보존 데이터를 사용하는 최신 방법들과도 동등하거나 더 우수한 성능을 달성했습니다. 특히 Membership Inference Attack (MIA) 평가에서도 재학습 모델과 유사한 수준의 개인정보 보호 효과를 보여, 정확도와 프라이버시를 동시에 만족하는 효과적인 언러닝 방법임을 입증했습니다 This paper addresses the problem of enabling a model to effectively forget specific data in scenarios where access to the retain data is unavailable in the field of machine unlearning. In general, the unlearning process aims to remove the forget set while maintaining the performance of the retain set. However, when the retain data is inaccessible, the model often suffers from severe performance degradation. To address this challenge, we propose a novel framework called RUAGO (Retain-free Unlearning via Adversarial attack and Generative model using OOD training). RUAGO achieves stable and effective unlearning through three key components. First, the Adversarial Probability Module (APM) mitigates over-unlearning by replacing one-hot labels with soft-label-based adversarial probabilities for the forget data. Second, a generator trained on Out-of-Distribution (OOD) data is employed to preserve the original model’s knowledge without requiring access to the retain data. The synthetic samples generated from the OOD data are further refined through a model inversion process to better align with the internal representations of the model. Third, the Sample Difficulty Scheduler introduces a Curriculum Learning-based knowledge distillation strategy that gradually transitions from easy to hard samples, ensuring both early-stage stability and improved generalization in later training stages. Extensive experiments on diverse datasets on CIFAR-10, CIFAR-100, TinyImageNet, and VGGFace demonstrate that RUAGO significantly outperforms existing retain-free approaches and achieves performance comparable to or better than state-of-the-art retain-based methods. Moreover, evaluation under the Membership Inference Attack (MIA) shows that RUAGO provides a privacy protection level similar to that of retrained model, demonstrating its effectiveness in achieving both high accuracy and strong privacy preservation simultaneously. Feel free to contact us at: https://dash-lab.github.io/ swoo@g.skku.edu

2025 SKKU Teaching Award 수상자 선정 (김유성 교수)
2025-09-26
2025 SKKU Teaching Award 수상자 선정 - 9월 24일(수), 제627주년 건학기념식에서 시상식 진행 교무처는 2025 SKKU Teaching Award 수상자로 19명의 교원을 선정하였다. 시상식은 9월 24일(수), 제627주년 건학기념식에서 거행되었다. (사진 첫째줄 왼쪽부터) △레이하트만(학부대학) △남궁주현(법학전문대학원) △전희정(행정학과) △이경재(통계학과) △김준성(경제대학) △최희익(경영학과) △김지만(화학과) △정재훈(생명과학과) △박준은(전자전기공학부) △김유성(소프트웨어학과) △이창준(글로벌융합학부) △김수찬(화학공학부) △노진아(교육학과) △이경성(연기예술학과) △황한솔(응용AI융합학부) △박이진(동아시아학술원) △이전오(학부대학) △하나(유학.동양학과) △차현주(문헌정보학과) 등 총 19명의 교원이 SKKU Teaching Award 수상의 영예를 안게 되었다. SKKU Teaching Award 제도는 우리 대학 교육의 질적 향상을 선도한 교·강사를 선정하여 포상하는 영예로운 상으로, 2011년 최초 시행 이후 지난해까지 총 134명을 선정한 바 있다. 특히나 이번 Teaching Award는 우리 대학이 지향하는 자기주도적 글로벌 융합 인재 양성을 위한 교육 혁신에 이바지한 교·강사을 선발하는 데 중점을 두었으며, 학문단위의 벽을 낮추고, 새로운 수업 모델을 적극 도입하며, 학부생의 연구효능감을 키우는 교과 운영에서 두드러지는 성과를 보인 교·강사를 선정하였다. 이번 Teaching Award 시상으로, 교육 역량이 뛰어난 교·강사에게 자긍심과 명예를 부여하고, 학부교육의 질적 성장을 견인할 수 있는 롤모델이 제시될 수 있기를 기대한다.

prev next

Read More

Schedule

오늘의 행사 이달의 행사

Read More

Movie

인공지능대학원 홍보 동영상

Read More

Link