우사이먼성일  교수 연구실 (DASH Lab)의 딥페이크 탐지/생성, 머신 언러닝, 객체인식, 이상 탐지, 워터마킹등의 연구를 CIKM (Full: 3편/Short: 3편), ACMMM (3편), ICCV (3편) 데이터마이닝/멀티미디어/비전 BK 우수 학회에 총 12편을 게재 예정. 또한, ACM AsiaCCS (WDC)와 ACM CCS (3D-Sec)에 딥페이크관련 국제 워크숍 개최와, 2025 ICIP에서 딥페이크 탐지관련 Tutorial을 진행. 

논문1.

“FakeChain: Exposing Shallow Cues in Multi-Step Deepfake Detection”은 인공지능학과 허민지(석사졸업생)이 제1저자로 게재하였습니다. (교신저자: 우사이먼성일 교수)

 - CIKM 2025, Research track (Full)

본 논문은 딥페이크 탐지 모델이 단일 조작 방식만을 학습했을 경우, 여러 단계의 변조를 순차적으로 거친 다단계(manipulation steps) 딥페이크에 얼마나 취약한지를 분석하고자 합니다. 기존 연구들은 보통 하나의 조작 방식(예: FaceSwap, GAN, Diffusion 등)만을 단독으로 고려했지만, 실제 환경에서는 다양한 생성 방식이 결합된 복합 조작이 등장하고 있습니다.

이 문제를 해결하기 위해, 본 연구는 서로 다른 딥페이크 생성 기법(FaceSwap, GAN 기반 생성, Diffusion 기반 생성 등)을 단계적으로 적용한 1단계, 2단계, 3단계 딥페이크 이미지로 구성된 대규모 벤치마크 데이터셋인 FakeChain을 제안합니다. 총 다섯 가지 기법을 활용하여 생성된 이 데이터셋을 통해, 조작 단계의 깊이, 생성 방식 조합, 이미지 품질 변화가 탐지 성능에 미치는 영향을 체계적으로 분석하였습니다.

실험 결과, 탐지 성능은 마지막 조작 단계에 크게 의존하며, 학습에 사용된 조작 방식과 다를 경우 F1-score가 최대 58.83%까지 하락하는 것을 확인했습니다. 이는 기존 탐지기가 누적된 조작 흔적보다는 최종 조작의 특징에만 의존하고 있음을 의미하며, 일반화 성능의 한계를 드러냅니다.이러한 결과는 복합 조작 이력을 고려하는 탐지 모델의 필요성과, 실제 환경의 복잡성을 반영한 벤치마크 데이터셋(FakeChain)의 중요성을 강조합니다.

This paper investigates how deepfake detection models trained only on a single type of manipulation perform when faced with multi-step deepfakes, which have undergone multiple sequential transformations. While previous studies have typically focused on individual manipulation methods such as FaceSwap, GAN-based generation, or Diffusion, real-world scenarios increasingly involve composite manipulations that apply multiple techniques in sequence.

To address this challenge, we introduce FakeChain, a large-scale benchmark dataset that includes 1-step, 2-step, and 3-step manipulated face images. These images are generated by sequentially applying different deepfake creation methods, including FaceSwap, GAN-based generation, and Diffusion-based refinement. By using five state-of-the-art generators, this dataset enables a systematic analysis of how manipulation depth, generator combinations, and image quality affect detection performance.

Experimental results show that detection models strongly depend on the final manipulation stage. When the final manipulation type differs from the one seen during training, the F1-score drops by up to 58.83 percent. This indicates that existing detectors rely mainly on artifacts introduced in the last step, rather than capturing the cumulative traces of earlier manipulations, which limits their generalization ability. These findings underscore the need for detection models that consider the full manipulation history and highlight the importance of benchmark datasets like FakeChain, which reflect the growing complexity of synthetic media in real-world environments.

논문2.

“Seeing Through the Blur: Unlocking Defocus Maps for Deepfake Detection”은 소프트웨어학과 전민선(소프트웨어학과 석사졸업생)이 제1저자로 게재하였습니다. (교신저자: 우사이먼성일 교수)

 - CIKM 2025, Research track (Full)

생성형 AI의 발달로 합성 이미지가 실제와 구분하기 어려울 만큼 정교해지면서 미디어 신뢰성에 대한 우려가 커지고 있습니다. 이 논문은 이에 대한 새로운 해법으로, 카메라 촬영 과정에서 자연스럽게 발생하는 디포커스 블러(Defocus Blur)에 주목했습니다. 이를 물리적으로 신뢰할 수 있는 단서로 활용해 딥페이크를 탐지하는 방식을 제안합니다.

합성 이미지는 현실의 심도(Depth of Field) 기반 블러 패턴을 제대로 재현하지 못하는 경우가 많습니다. 본 연구는 이러한 차이를 활용해 입력 이미지지에서 Defocus Blur Map을 생성하고 이를 분류기에 적용했습니다. Defocus 모듈은 확장 가능한 구조로 설계되어 다양한 탐지 모델과 쉽게 결합할 수 있으며, feature-level과 model-level을 아우르는 폭넓은 실험을 통해 신뢰성과 해석 가능성을 검증했습니다.

실험 결과, 제안된 방법은 FaceForensics++ 데이터셋에서 AUC 0.998을 달성하며 기존 최첨단 기법을 능가했습니다. 단순한 구조로도 높은 정확도와 해석력을 확보한 이 접근법은 범용성과 확장성을 갖춘 차세대 미디어 포렌식 기술로써 합성 이미지로 인한 신뢰성 위협에 대응할 새로운 가능성을 제시했습니다.

With the rapid advancement of generative AI, synthetic images have become nearly indistinguishable from real ones, raising serious concerns about media integrity. This paper introduces a novel solution by focusing on defocus blur, a natural optical phenomenon that occurs during camera capture. By leveraging this physically grounded cue, the method provides a new approach to deepfake detection.

Synthetic images often fail to reproduce realistic depth-of-field blur patterns. Building on this observation, the proposed framework generates a defocus blur map from the input image and applies it to standard classifiers. Designed as a modular and extensible component, the defocus module can be easily integrated into various detection systems. The authors conducted comprehensive experiments across both feature-level and model-level analyses, validating the reliability and interpretability of defocus-based detection.

Experiments showed that the method achieved an AUC of 0.998 on the FaceForensics++ dataset, surpassing prior state-of-the-art approaches. Despite its simplicity, the framework delivers both high accuracy and interpretability, highlighting its scalability and potential as a next-generation media forensic technology against the growing threat of synthetic content.

논문3.  이 연구는 현대케피코와의 공동연구로 진행되었습니다.

“Anomaly Detection for Advanced Driver Assistance System with NCDE-based Normalizing Flow”은 소프트웨어학과 이강준(박사과정), 인공지능학과 김민하(석사졸업생), 전영호(현대케피코 연구원)이 저자로 게재하였습니다. (교신저자: 우사이먼성일 교수)

 - CIKM 2025, Applied Research track, Full paper (Long)

본 논문은 전기차의 첨단 운전자 보조 시스템(ADAS)에 적용되는 적응형 크루즈 컨트롤(ACC)의 성능을 개선하기 위한 새로운 이상 패턴 탐지 방법론인 GDFlow(Graph Neural Controlled Differential Equation Normalizing Flow)를 제안합니다. 기존의 ADAS는 개발 과정에서 수집된 주행 데이터가 제한적이어서 운전자의 다양한 주행 습관을 모두 반영하지 못하고, 이로 인해 급작스럽거나 지연된 제동이 발생하는 문제가 있었습니다. 또한, 기존에 사용되던 클러스터링 기반의 이상 탐지 알고리즘은 특정 조건에 민감하여 복잡한 실제 주행 환경에 적용하기 어려웠습니다.

이러한 한계를 극복하기 위해 GDFlow는 신경 제어 미분 방정식(NCDE, Neural Controlled Differential Equations)과 정규화 흐름(Normalizing Flow) 기술을 결합하여 정상적인 주행 패턴의 분포를 학습합니다. 이 모델은 차량 센서 데이터의 시공간적 정보를 동시에 포착하여 연속적인 주행 패턴의 변화를 정밀하게 모델링할 수 있습니다. 이를 통해 정상 분포에서 벗어나는 이상(anomalous) 제동 패턴을 효과적으로 식별합니다. 또한, 본 연구는 분위수 기반 최대 가능도(quantile-based maximum likelihood)라는 목적 함수를 도입했습니다. 이 기법은 정상 데이터와 이상 데이터의 경계에 있는 모호한 데이터까지 명확하게 구분할 수 있도록 모델의 학습 능력을 향상시킵니다.

본 연구는 현대 아이오닉 5와 GV80 EV에서 직접 수집한 실제 주행 데이터와 공개된 벤치마크 데이터셋을 통해 GDFlow의 성능을 검증했습니다. 실험 결과, GDFlow는 9개의 최신 이상 탐지 모델들보다 뛰어난 성능을 보였으며, 특히 서로 다른 차종이나 다른 운전자의 데이터에 대해서도 높은 일반화 성능을 입증했습니다.

This paper proposes GDFlow (Graph Neural Controlled Differential Equation Normalizing Flow), a novel anomaly detection methodology designed to improve the performance of Adaptive Cruise Control (ACC) in Advanced Driver Assistance Systems (ADAS) for electric vehicles. Existing ADAS faces challenges because the limited and non-diverse driving data collected during development fails to capture a wide range of driver habits, leading to problems such as late or aggressive braking. Furthermore, conventional clustering-based anomaly detection algorithms are often sensitive to specific conditions, making their application in complex, real-world driving environments difficult.

To overcome these limitations, GDFlow combines Neural Controlled Differential Equations (NCDE) and Normalizing Flow to learn the distribution of normal driving patterns. The model captures spatio-temporal information from vehicle sensor data, allowing it to accurately model continuous changes in driving patterns. This enables the effective identification of anomalous braking patterns that deviate from the learned normal distribution. Additionally, the study introduces a quantile-based maximum likelihood objective function. This technique enhances the model’s learning capability to clearly distinguish between normal and anomalous data, especially for ambiguous data points at the margin of the distribution.

The performance of GDFlow was validated using real-world driving data collected from the Hyundai IONIQ 5 and GV80 EV, as well as on public benchmark datasets. Experimental results demonstrate that GDFlow achieves state-of-the-art performance, outperforming nine baseline models, and shows strong generalization capabilities across different vehicle types and drivers.

논문4.

“MU-OT: Effective and Unified Machine Unlearning with Optimal Transport for Feature Realignment” 은 인공지능학과 정상준 학생이 제1 저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) 

- CIKM 2025, Research track, Short paper

이 논문은 머신 언러닝 문제를 다루며, 특정 데이터(Forget Set)의 영향을 제거하면서도 나머지 데이터(Retain Set)에 대한 성능을 유지할 수 있는 새로운 방법인 MU-OT를 제안합니다. MU-OT는 클래스 단위(class-wise) 및 인스턴스 단위(instance-wise) 언러닝을 모두 지원하는 통합적 프레임워크입니다.

본 연구는 머신 언러닝을 특징 분포 정렬(feature distribution alignment) 문제로 재정의하고, 이를 위해 Optimal Transport(OT) 기반의 프레임워크 MU-OT를 도입합니다. Forget Set의 특징 분포를 Retain Set 분포와 정렬시켜 기존의 구조적으로 응집된 패턴을 해체하여 Retain Set 분포에 통합되도록 합니다. 추가적으로, Class-aware 비용함수를 추가하여 동일 클래스 내부 정렬은 억제하고, 클래스 간 정렬을 유도함으로써 언러닝 효과를 강화합니다.

실험 결과, MU-OT는 기존 방법들보다 효과적으로 Forget Set의 영향을 제거하면서도 Retain Set에 대한 높은 정확도를 유지함을 확인했습니다. 결론적으로 MU-OT는 클래스 단위와 인스턴스 단위 언러닝을 모두 지원하는 효율적이고 효과적인 통합적 프레임워크임을 입증합니다.

This paper addresses the problem of machine unlearning and proposes a novel method, MU-OT, which effectively removes the influence of specific data (forget Set) while preserving the performance on the remaining data (retain Set). In particular, MU-OT serves as a unified framework that supports both class-wise and instance-wise unlearning.

We redefine machine unlearning as a feature distribution alignment problem and introduce an Optimal Transport (OT)-based framework to achieve this. MU-OT aligns the feature distribution of the Forget Set with that of the Retain Set, dispersing the structured patterns originally formed by the Forget Set. In addition, a class-aware cost function is incorporated to discourage intra-class alignment and encourage inter-class alignment, thereby strengthening the unlearning effect.

Experimental results demonstrate that MU-OT outperforms existing methods by effectively eliminating the influence of the forget Set while maintaining high accuracy on the retain set. In conclusion, MU-OT provides an efficient and effective unified framework that supports both class-wise and instance-wise unlearning.

논문5.

논문 “Beyond Masking: Landmark-based Representation Learning and Knowledge-Distillation for Audio-Visual Deepfake Detection”은 인공지능학과 박찬(석사과정), M. Shahid Munneer (소프트웨어학과 박사과정)이 저자로 게재하였습니다. (교신저자: 우사이먼성일 교수)

 - CIKM 2025, Research track, Short paper

본 Beyond Masking 논문은 오디오-비주얼(Audio-Visual) 멀티모달 딥페이크 탐지 방법을 제안합니다. 기존 오디오-비주얼 딥페이크 탐지 방법들이 Academic 데이터셋에서는 우수한 성능을 보이지만 Real-World 딥페이크에서는 성능이 크게 저하되는 도메인 갭 문제를 해결하고자 했습니다.

기존 방법들이 배경 정보나 조명 등 spurious correlation에 영향을 많이 받는다는 것을 통해, 실제 얼굴의 기하학적 특징과 시간적 움직임을 모델링하여 문제를 해결하였습니다. Landmark-based Distillation (LBD)을 통해 비주얼과 오디오의 중간 표현이 각각 얼굴 랜드마크를 예측하도록 하고, 실제 랜드마크를 teacher signal로 사용하여 KL-divergence 계산을 통해 비주얼, 오디오 인코더가 기하학 특징을 더 잘 표현할 수 있는 강화된 특징을 추출하도록 유도하였습니다. 또한, 프레임 수준으로 오디오-비디오 쌍을 대조학습 Multimodal Temporal Information Alignment (MTIA)을 통해 시간적 일관성을 향상시켰습니다.

이를 통해 학술 데이터셋과 Real-World 딥페이크에서 우수한 일반화 성능을 달성했습니다

The paper proposes a multimodal detection method to solve the domain gap problem, where existing audio-visual deepfake detection methods perform well on academic datasets but show degraded performance on real-world deepfakes.

 This study points out that existing models tend to rely excessively on spurious correlations, such as background or lighting, and to overcome this, it focuses on directly modeling the geometric features and temporal movements of a real face. The core methodologies proposed for this are twofold. First, 'Landmark-based Distillation (LBD)' trains the visual and audio encoders to predict facial landmarks at an intermediate stage, and by using the actual landmarks as a teacher signal to calculate KL-divergence, it guides both encoders to extract geometric features more precisely. Second, 'Multimodal Temporal Information Alignment (MTIA)' applies contrastive learning to audio-video pairs to enhance the temporal consistency between the two modalities. Through this approach, the model in this paper achieved excellent generalization performance not only on academic datasets but also on real-world deepfakes.

논문6. 

“FASE: Feature-Aligned Scene Encoding for Open-Vocabulary Object Detection in Remote Sensing”은 소프트웨어학과 황현수 (석사과정)이 제1저자로 게재하였습니다. (교신저자: 우사이먼성일 교수)

 - CIKM 2025, Research track, Short paper

본 논문은 원격 탐사(Remote Sensing, RS) 이미지에서의 오픈 어휘 객체 탐지(open-vocabulary object detection, OVD) 성능을 개선하기 위한 새로운 방법론인 FASE(Feature-Aligned Scene Encoding)를 제안합니다.

기존 방법들은 이미지의 객체 레이블에 대한 텍스트 임베딩을 단순히 평균 내는 방식으로 장면 컨텍스트를 근사화하여, 장면에 존재하는 풍부한 언어적 맥락을 포착하는 데 한계가 있었습니다.

이를 해결하기 위해 FASE는 원격 탐사에 특화된 비전-언어 모델이 생성한 고품질 캡션을 통해 종합적인 장면 표현을 구축합니다. 이후, ' Feature Alignment Module (FAM)'은 이 캡션 임베딩이 시각적 특징과 정밀하게 정렬되도록 유도하여, 모델이 깊은 컨텍스트를 학습하도록 합니다.

특히, 이러한 향상된 장면 인코딩은 훈련 과정에만 적용되므로 추론 비용을 증가시키지 않으면서도 탐지 성능을 크게 향상시키는 장점이 있습니다.

여러 벤치마크를 통한 실험 결과, 제안된 방법은 기존 최고 성능(state-of-the-art) 모델들보다 뛰어난 성능을 보이며 효율성과 효과성을 모두 입증했습니다.

This paper proposes a novel methodology, FASE (Feature-Aligned Scene Encoding), for improving the performance of open-vocabulary object detection (OVD) in remote sensing (RS) imagery.

Existing methods approximate scene context by simply averaging the text embeddings of object labels, which limits their ability to capture the rich linguistic context present in the scene. To address this limitation, FASE constructs comprehensive scene representations using high-quality captions generated by a vision-language model specialized for remote sensing. Subsequently, a Feature Alignment Module (FAM) guides these caption embeddings to be precisely aligned with visual features, enabling the model to learn deep context.

 Notably, this enhanced scene encoding is applied only during the training process, which provides the advantage of significantly improving detection performance without increasing inference cost. Experimental results on multiple benchmarks show that the proposed method outperforms state-of-the-art models, proving both its efficiency and effectiveness.

논문7.

“SpecXNet: A Dual-Domain Convolutional Network for Robust Deepfake Detection”, Inzamamul Alam (소프트웨어학과 박사과정), Md Tanvir Islam and Simon S. Woo*

- ACM MM '25: Proceedings of the 33nd ACM International Conference on Multimedia, Dublin, Ireland

This paper introduces SpecXNet, a deepfake detector that looks at images in two ways at once: what you can see in pixel space (textures, edges) and what hides in the frequency patterns revealed by a Fast Fourier Transform (FFT). Prior detectors usually commit to just one view either spatial or frequency so they miss subtle artifacts and struggle to generalize to new generators and datasets. SpecXNet tackles that gap by unifying both clues in a single, lightweight architecture.

At the heart of SpecXNet are two components. The Dual-Domain Feature Coupler (DDFC) splits features into a local spatial branch and a global spectral branch (via FFT) so the model can capture fine details and long-range periodic traces at the same time. The Dual Fourier Attention (DFA) then fuses those branches, learning when to emphasize spatial cues and when to lean on frequency cues, so the final decision uses the right evidence for each image. The supplementary further motivates the spectral view by showing that different generators leave distinct FFT “signatures,” patterns that are often invisible in raw pixels.

논문8. 

제목: PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting

저자: 나호현(지능형 소프트웨어 석사재학생), 홍승후(인공지능학과 박사재학생), 우사이먼성일(교신저자)

- ACM MM 2025, Regular track, Full paper

본 논문은 텍스트 입력만으로 이미지를 쉽게 조작하는 생성형 AI 기술의 악용을 막기 위해, PromptFlare라는 혁신적인 방어 프레임워크를 제안합니다. 기존 방어 기술들은 특정 공격 조건에서만 유효하거나, 조작자가 텍스트 프롬프트의 영향력을 강화하면 쉽게 무력화되는 한계가 있었습니다. PromptFlare는 이러한 문제를 해결하여 사용자가 자신의 이미지를 악의적인 조작으로부터 안전하게 보호할 수 있도록 돕습니다.

PromptFlare의 핵심은 생성 모델이 텍스트를 이해하는 내부 작동 원리인 크로스-어텐션(Cross-Attention) 메커니즘을 직접 반영하는 새로운 접근법입니다. 이 기술은 공격자의 프롬프트 종류와 무관하게 항상 존재하는, 의미 정보가 없는 시작 토큰(BOS)을 미끼로 활용합니다. 이미지에 특수한 노이즈를 주입하여, 생성 모델이 악의적인 프롬프트의 실제 내용 대신 이 미끼 토큰에만 집중하도록 유도함으로써 어떤 프롬프트가 입력되어도 그 영향력을 무력화합니다. 이를 통해 기존 기술의 한계를 극복하고 예측 불가능한 다양한 공격에 효과적으로 대응하는 프롬프트 일반화 방어를 구현했습니다.

실험 결과, 제안된 PromptFlare 프레임워크는 벤치마크 데이터셋에서 기존 최첨단 기술들을 능가하는 성능을 보였으며, 특히 프롬프트의 영향력을 측정하는 핵심 지표에서 새로운 최고 기록을 달성했습니다. 또한, 조작자가 시도할 수 있는 다양한 방어 우회 시도에도 가장 강건함을 실험적으로 입증하였으며, 이미지 보호에 소요되는 연산 시간과 메모리 사용량을 크게 단축시켜 실용성까지 확보했습니다.

논문9.  이 연구는 호주 CSIRO와 호주 퀸스랜드대학과의  공동연구로 진행되었습니다.

From Prediction to Explanation: Multimodal, Explainable, and Interactive Deepfake Detection Framework for Non-Expert Users

Shahroz Tariq, PRIYANKA SINGH,  Simon S. Woo , Irena Irmalasari, Saakshi Gupta and Dev Gupta

- ACM MM '25: Proceedings of the 33nd ACM International Conference on Multimedia, Dublin, Ireland

Abstract: The proliferation of deepfake technologies poses urgent challenges and serious risks to digital integrity, particularly within critical sectors such as forensics, journalism, and the legal system. While existing detection systems have made significant progress in classification accuracy, they typically function as black-box models offering limited transparency and minimal support for human reasoning. This lack of interpretability hinders their usability in real-world decision-making contexts, especially for non-expert users. In this paper, we present DF-P2E (Deepfake: Prediction to Explanation), a novel multimodal framework that integrates visual, semantic, and narrative layers of explanation to make deepfake detection interpretable and accessible. The framework consists of three modular components: (1) a deepfake classifier with Grad-CAM-based saliency visualisation, (2) a visual captioning module that generates natural language summaries of manipulated regions, and (3) a narrative refinement module that uses a fine-tuned Large Language Model (LLM) to produce context-aware, user-sensitive explanations. We instantiate and evaluate the framework on the DF40 benchmark, the most diverse deepfake dataset to date. Experiments demonstrate that our system achieves competitive detection performance while providing high-quality explanations aligned with Grad-CAM activations. Human evaluation with non-expert participants confirms the perceived usefulness, understandability, and trustworthiness of the generated narratives. By unifying prediction and explanation in a coherent, human-aligned pipeline, this work offers a scalable approach to interpretable deepfake detection advancing the broader vision of trustworthy and transparent AI systems in adversarial media environments.

논문10. 이 연구는 성균관대 허재필 교수님과의 공동연구로 진행되었습니다.

논문명: Translation of Text Embedding via Delta Vector to Suppress Strongly Entangled Content in Text-to-Image Diffusion Models

저자명: Jae-Pil Heo, Simon S. Woo(공동 교신저자), Seunghoo Hong, Eunseo Koh, Tae-Young Kim (인공지능학과 공동 제1저자)

- International Conference on Computer Vision 2025 (ICCV), Honolulu, Hawaii, United States

Text-to-Image (T2I) 확산 모델은 텍스트 프롬프트로부터 고품질 이미지를 생성하지만, 특정 단어와 강하게 얽힌(entangled) 콘텐츠를 억제하는 데 어려움을 겪습니다. 예를 들어, ‘찰리 채플린’ 이미지 생성 시 ‘콧수염 없음’을 명시해도 콧수염이 계속 나타나는 문제가 있습니다. 이 논문은 이러한 문제를 해결하기 위해 텍스트 임베딩 공간을 직접 수정하여 원치 않는 콘텐츠의 영향을 약화시키는 새로운 접근법을 제안합니다. 핵심 아이디어는 ‘델타 벡터(delta vector)’를 도입하여 텍스트 임베딩을 조정하는 것이며, 이 벡터는 별도의 학습 없이(zero-shot) 얻을 수 있습니다. 나아가, 제안하는 Selective Suppression with Delta Vector (SSDV) 기법은 교차 어텐션(cross-attention) 메커니즘에 델타 벡터를 적용하여 원치 않는 콘텐츠가 생성될 특정 영역을 더욱 효과적으로 억제합니다. 실험 결과, 제안된 방법은 기존 방법들을 크게 능가하는 성능을 보였으며, 특히 개인화된 T2I 모델에서도 정밀한 억제가 가능함을 입증했습니다.

Text-to-Image (T2I) diffusion models have made significant progress in generating diverse high-quality images from textual prompts. However, these models still face challenges in suppressing content that is strongly entangled with specific words. For example, when generating an image of "Charlie Chaplin", a "mustache" consistently appears even if explicitly instructed not to include it, as the concept of "mustache" is strongly entangled with "Charlie Chaplin". To address this issue, we propose a novel approach to directly suppress such entangled content within the text embedding space of diffusion models. Our method introduces a delta vector that modifies the text embedding to weaken the influence of undesired content in the generated image, and we further demonstrate that this delta vector can be easily obtained through a zero-shot approach. Furthermore, we propose a Selective Suppression with Delta Vector (SSDV) method to adapt the delta vector into the cross-attention mechanism, enabling more effective suppression of unwanted content in regions where it would otherwise be generated. Additionally, we enabled more precise suppression in personalized T2I models by optimizing the delta vector, which previous baselines were unable to achieve. Extensive experimental results demonstrate that our approach significantly outperforms existing methods, both in terms of quantitative and qualitative metrics.

논문11.

논문명: DIA: The Adversarial Exposure of Deterministic Inversion in Diffusion Models

저자명: Simon S. Woo(교신저자), Seunghoo Hong, Geonho Son (인공지능학과 박사과정, 공동 제1저자), Juhun Lee (인공지능학과 박사과정)

DDIM의 역변환(inversion) 기능은 실제 이미지를 편집하는 데 유용하게 사용되지만, 악의적인 사용자들이 이를 이용하여 허위 정보나 딥페이크 콘텐츠를 쉽게 만들 수 있는 문제를 낳았습니다. 기존의 방어 기술들은 확산 모델의 반복적인 노이즈 제거 과정과의 목표 불일치로 인해 효과적인 방어 성능을 보여주지 못했습니다. 본 논문에서는 이러한 문제를 해결하기 위해 DDIM의 전체 역변환 경로를 직접 공격하는 새로운 방어 기법인 DDIM Inversion Attack (DIA)를 제안합니다. 실험 결과, DIA는 기존의 방어 방법들보다 다양한 편집 기술에 대해 훨씬 효과적으로 이미지 조작을 방해하는 것을 보여주었으며, 이는 AI 기술의 악용을 막는 실질적인 방어책이 될 수 있음을 시사합니다.

Diffusion models have shown to be strong representation learners, showcasing state-of-the-art performance across multiple domains. Aside from accelerated sampling, DDIM also enables the inversion of real images back to their latent codes. A direct inheriting application of this inversion operation is real image editing, where the inversion yields latent trajectories to be utilized during the synthesis of the edited image. Unfortunately, this practical tool has enabled malicious users to freely synthesize misinformative or deepfake contents with greater ease, which promotes the spread of unethical and abusive, as well as privacy-, and copyright-infringing contents. While defensive algorithms such as AdvDM and Photoguard have been shown to disrupt the diffusion process on these images, the misalignment between their objectives and the iterative denoising trajectory at test time results in weak disruptive performance. In this work, we present the DDIM Inversion Attack (DIA) that attacks the integrated DDIM trajectory path. Our results support the effective disruption, surpassing previous defensive methods across various editing methods. We believe that our frameworks and results can provide practical defense methods against the malicious use of AI for both the industry and the research community.

논문12. 이 연구는 Khan교수와의 공동연구로 진행되었습니다.

SpecGuard: Spectral Projection-based Advanced InvisibleWatermarking

Inzamamul Alam (소프웨어학과 박사과정), Md Tanvir Islam, Khan Muhammad and Simon S. Woo*

- International Conference on Computer Vision 2025 (ICCV), Honolulu, Hawaii, United States

Watermarking embeds imperceptible patterns into images for authenticity verification. However, existing methods often lack robustness against various transformations primar ily including distortions, image regeneration, and adver sarial perturbation, creating real-world challenges. In this work, we introduce SpecGuard, a novel watermarking ap proach for robust and invisible image watermarking. Un like prior approaches, we embed the message inside hid den convolution layers by converting from the spatial do main to the frequency domain using spectral projection of a higher frequency band that is decomposed by wavelet pro jection. Spectral projection employs Fast Fourier Trans form approximation to transform spatial data into the fre quency domain efficiently. In the encoding phase, a strength factor enhances resilience against diverse attacks, includ ing adversarial, geometric, and regeneration-based distor tions, ensuring the preservation of copyrighted information. Meanwhile, the decoder leverages Parseval’s theorem to ef fectively learn and extract the watermark pattern, enabling accurate retrieval under challenging transformations. We evaluate the proposed SpecGuard based on the embedded watermark’s invisibility, capacity, and robustness. Comprehensive experiments demonstrate the proposed SpecGuard outperforms the state-of-the-art models.

Workshop 1. 

The 4th Workshop on the security implications of Deepfakes and Cheapfakes (WDC '25)

co-located with ACM ASIACCS 2025

https://sites.google.com/view/wdc-2025/home

Workshop 2.

The 1st Deepfake, Deception, and Disinformation Security Workshop (3D-Sec)

co-located with CCS 2025

Taipei, Taiwan

October 2025

https://sites.google.com/view/3d-sec2025/

Tutorial 1. ICIP2025

(Half-Day) Deepfakes From Creation to Detection, and Future Challenges

Presenters: Simon S. Woo, Sungkyunkwan University, South Korea

https://2025.ieeeicip.org/tutorials/

Congratulations to all authors and students!