자연어처리연구실(NLP lab, 지도교수: 고영중)의 논문 2편이 인공지능 및 자연어처리 분야의 Top-tier 국제학술대회인 EMNLP 2025(The 2025 Conference on Empirical Methods in Natural Language Processing)의 Main Track(long paper)에 게재되었습니다.

논문: ECO Decoding: Entropy-Based Control for Controllability and Fluency in Controllable Dialogue Generation, Main Track (long paper)

(인공지능학과 석사과정 신승민, 인공지능학과 박사과정 김두영)

논문 요약: 본 연구에서는 기존의 속성 제어 연구 방법론 중 하나인 가중치 기반 생성(Weighted Decoding)에서 엔트로피 기반의 동적인 가중치를 활용하는 방법을 제안합니다. 가중치 기반 생성 방법은 생성 AI의 확률 분포에 각 토큰이 생성될 경우 제어하고자 하는 속성으로 분류될 확률 분포를 결합하여 최종 확률 분포를 계산합니다. 따라서 생성 AI의 추가적인 학습 없이 속성 분류기만을 학습하여 최소한의 학습으로 속성을 제어할 수 있으며, plug-and-play 방식으로 효율적인 활용이 가능합니다. 기존의 가중치 기반 생성 방법은 두 확률 분포의 가중치를 실험적으로 선택하지만, 이러한 방식은 경우에 따라 생성 품질을 저하하거나 속성 제어가 잘 이뤄지지 않을 수 있습니다. 이러한 문제를 해결하기 위해서는 응답에 생성되는 과정에 따라 동적으로 가중치를 할당할 수 있어야 합니다. 본 연구에서는 이러한 동적인 가중치를 할당하기 위해 각 확률 분포의 엔트로피를 활용하였습니다. 엔트로피는 확률 분포의 불확실성을 정량화하는 값입니다. 엔트로피가 높은 경우 선택 가능한 합리적인 토큰 후보가 많고, 엔트로피가 낮은 경우 선택 가능한 토큰이 제한적이라는 점에서 착안하여 엔트로피에 반비례하는 동적인 가중치를 설계하였습니다. 2가지 대화 데이터셋에서 다양한 베이스라인 가중치 기반 생성 기법에 동적인 가중치를 적용한 결과, 추가적인 학습 과정 없이도 높은 생성 품질을 유지하면서 속성 제어가 가능함을 실험적으로 증명하였습니다. 또한 다양한 모델 사이즈에서도 모두 성공적인 제어 결과를 확인할 수 있었습니다. 또한 기존의 가중치 기반 생성 기법에서 다루기 어려웠던 다중 속성 제어 환경에서도 성공적인 성능 향상을 달성할 수 있었습니다.

Abstract: Controllable Dialogue Generation (CDG) enables chatbots to generate responses with desired attributes, and weighted decoding methods have achieved significant success in the CDG task. However, using a fixed constant value to manage the bias of attribute probabilities makes it challenging to find an ideal control strength that satisfies both controllability and fluency. To address this issue, we propose ECO decoding (Entropy-based COntrol), which dynamically adjusts the control strength at each generation step according to the model’s entropy in both the language model and attribute classifier probability distributions. Experiments on the DailyDialog and MultiWOZ datasets demonstrate that ECO decoding consistently improves controllability while maintaining fluency and grammaticality, outperforming prior decoding methods across various models and settings. Furthermore, ECO decoding alleviates probability interpolation issues in multiattribute generation and consequently demonstrates strong performance in both single- and  multi-attribute scenarios.

논문: Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval, Main Track (long paper)

(인공지능학과 석사과정 박성완, 인공지능학과 석사과정 김택림)

논문 요약: 밀집 문서 검색(Dense Passage Retrieval, DPR)은 우수한 성능을 보이지만, dense embedding의 불투명성으로 인해 검색 결과에 대한 설명 가능성과 신뢰성에 한계가 있습니다. 본 연구는 희소 오토인코더(Sparse Autoencoder, SAE)를 활용하여 DPR의 dense embedding을 해석 가능한 latent concept로 분해하고, 각 concept에 대해 대규모 언어 모델(LLM)을 이용해 자연어 설명을 생성하는 새로운 해석 프레임워크를 제안하고, 다양한 정성적·정량적 실험을 통해 DPR 모델에 대한 SAE 기반 해석의 타당성과 효과성을 검증하였습니다. 더불어, 기존 단어 기반 sparse retrieval 대신, latent concept를 정보 검색 단위로 활용하는 Concept-Level Sparse Retrieval (CL-SR) 구조를 제안하였습니다. 이는 sparse retrieval의 효율성과 해석 가능성을 유지하면서도 dense retrieval 수준의 표현력과 의미적 강건성을 동시에 활용할 수 있는 구조로, 기존 sparse 모델에 비해 높은 검색 효율성과 정확도를 보였으며, 의미 불일치 상황에서도 우수한 성능을 유지하였습니다.

Abstract: Despite their strong performance, Dense Passage Retrieval (DPR) models suffer from a lack of interpretability. In this work, we propose a novel interpretability framework that leverages Sparse Autoencoders (SAEs) to decompose previously uninterpretable dense embeddings from DPR models into distinct, interpretable latent concepts. We generate natural language descriptions for each latent concept, enabling human interpretations of both the dense embeddings and the query-document similarity scores of DPR models. We further introduce Concept-Level Sparse Retrieval (CL-SR), a retrieval framework that directly utilizes the extracted latent concepts as indexing units. CL-SR effectively combines the semantic expressiveness of dense embeddings with the transparency and efficiency of sparse representations. We show that CL-SR achieves high computational and storage efficiency while maintaining robust performance across vocabulary and semantic mismatches.

고영중 교수: yjko@skku.edu, nlp.skku.edu, 자연어처리연구실: nlplab.skku.edu