-
- 고영중 교수 연구실(NLP lab.), EMNLP2024 논문 2편 게재 승인 NEW
- 자연어처리연구실(NLP lab, 지도교수: 고영중)의 논문 2편이 인공지능 및 자연어처리 분야의 Top-tier 국제학술대회인 EMNLP 2024(The 2024 Conference on Empirical Methods in Natural Language Processing)의 Industry Track에 게재 승인되었습니다. 각 연구는 NAVER, NC Soft와 산학 협력을 통해 이루어졌습니다. 논문#1: Hyper-QKSG: Framework for Automating Query Generation and Knowledge-Snippet Extraction from Tables and Lists (인공지능학과 박사과정 김두영, 인공지능학과 석사과정 장윤진, NAVER 산학) 논문 요약: 본 연구에서는 지식스니펫의 커버리지를 자동으로 확장하는 프레임워크를 제안합니다. 지식스니펫이란 검색엔진에서 검색 결과 상단에 위치하는 짧은 단락으로, 사용자가 쿼리에 대한 정보를 검색된 문서를 읽을 필요 없이 얻을 수 있도록 편의성을 제공하는 역할을 합니다. 테이블이나 리스트와 같이 복잡한 웹 문서구조에서 지식스니펫을 추출하기 위해서, 기존의 자연어 텍스트 기반의 언어모델을 HTML 기반의 언어모델으로 재학습하였으며, 문서로부터 쿼리와 지식스니펫을 추출하는 파이프라인 시스템을 구축하였습니다. 또한 본 연구에서 자동으로 지식스니펫의 커버리지를 확장하는 과정에서 생성되는 다양한 노이즈 지식스니펫-쿼리 쌍에 대해서 필터링 및 개선 방법을 제안하였습니다. 실제 검색 환경에서 자동 확장된 지식스니펫 데이터베이스를 기반으로 정성평가를 진행한 결과 반환된 지식스니펫이 사용자 쿼리에 대해 유용한 정보를 제공할 수 있음을 보였으며, 기존에 테이블이나 리스트에서 지식스니펫을 뽑지 못하는 한계를 극복하고 다양한 HTML 구조에서 지식스니펫을 추출하여 정보를 제공할 수 있음을 보였습니다. Abstract: These days, there is an increasing necessity to provide a user with a short knowledge-snippet for a query in commercial information retrieval services such as the featured snippet of Google. In this paper, we focus on how to automatically extract the candidates of query-knowledge snippet pairs from structured HTML documents by using a new Language Model (HTML-PLM). In particular, the proposed system is powerful on extracting them from Tables and Lists, and provides a new framework for automate query generation and knowledge-snippet extraction based on a QA-pair filtering procedure including the snippet refinement and verification processes, which enhance the quality of generated query-knowledge snippet pairs. As a result, 53.8% of the generated knowledge-snippets includes complex HTML structures such as tables and lists in our experiments of a real-world environments, and 66.5% of the knowledge-snippets are evaluated as valid. 논문#2: RAC: Retrieval-augmented Conversation Dataset for Open-domain Question Answering in Conversational Settings (인공지능학과 박사과정 최봉근, 인공지능학과 석박통합과정 박정재, NC Soft 산학) 논문 요약: “RAC: Retrieval-augmented Conversation Dataset for Open-domain Question Answering in Conversational Settings” 논문은 NC Soft와 산학 협력을 통해 구축한 데이터셋을 소개합니다. 해당 데이터셋은 검색 기반의 대화형 질의응답 문제를 다루고 있으며, 구체적으로 대화 문맥 내에서 사용자의 질문에 대한 사실 기반의 응답을 하기 위해 문맥 기반의 질의 재작성, 문서 검색, 문서 재순위화, 응답 생성의 과정을 포함하고 있습니다. 특히, 기존의 대화형 질의응답 데이터들이 검색된 문서 내의 일부 단어 혹은 문장을 추출하여 응답으로 사용하는 반면, 검색된 문서를 반영하여 사람과 같은 자연스러운 응답을 생성할 수 있는 것을 목표로 하고 있습니다. 본 논문에서는 데이터셋과 함께 BM25와 한국어 Dense Retriever을 기반으로 한 문서 검색 성능 및 Ko-BART와 LLM(GPT-4o-mini)을 기반으로 한 응답 생성 성능을 Baseline으로 제공하고 있습니다. Abstract: In recent years, significant advancements in conversational question and answering (CQA) have been driven by the exponential growth of large language models and the integration of retrieval mechanisms that leverage external knowledge to generate accurate and contextually relevant responses. Consequently, the fields of conversational search and retrieval-augmented generation (RAG) have obtained substantial attention for their capacity to address two key challenges: query rewriting within conversational histories for better retrieval performance and generating responses by employing retrieved knowledge. However, both fields are often independently studied, and comprehensive study on entire systems remains underexplored. In this work, we present a novel retrieval-augmented conversation (RAC) dataset and develop a baseline system comprising query rewriting, retrieval, reranking, and response generation stages. Experimental results demonstrate the competitiveness of the system and extensive analyses are conducted to apprehend the impact of retrieval results to response generation. 고영중 교수: yjko@skku.edu, nlp.skku.edu, 자연어처리연구실: nlplab.skku.edu
-
- 작성일 2024-10-04
- 조회수 459
-
-
- 우사이먼성일 교수(DASH Lab), CIKM 2024 국제 학술대회 논문 2편 개제 승인
- 1. (딥페이크 탐지) IDENTIFY: Integral Radial and Spatial Fourier Analysis for AI-Generated Image Authentication (full paper) 저자: Inzamamul Alam (소프트웨어학과 박사과정), Muhammad Shahid Muneer (소프트웨어학과 박사과정), and Simon S. Woo (인공지능대학원/소프트웨어학과) 본 연구에서는 새로운 생성형AI (디퓨전)기법으로 생성된 딥페이크를 Integral Radial and Spatial Fourier Analysis을 활용하여, 높은 성능으로 탐지하는 연구를 제안합니다. 특히, 본연구에서 제안하는 기법은 기존의 방법들보다 12-28%이상 높은 성능을 보여줍니다. IDENTIFY: Integral Radial and Spatial Fourier Analysis for AI-Generated Image Authentication, Inzamamul Alam, Muhammad Shahid Muneer, and Simon S. Woo*, 33rd ACM International Conference on Information & Knowledge Management (CIKM), Boise, Idaho, USA, October 2024 2. (빅데이터/E-commerce) Deep Journey Hierarchical Attention Networks for Conversion Predictions in Digital Marketing (full paper) 저자: Girim Ban (성균관대학교 석사 졸업/KT NexR), Hyeonseok Yun (KT NexR), Banseok Lee (KT NexR), David Sung (KT NexR), and Simon S. Woo (인공지능대학원/소프트웨어학과) 본 연구에서는 디지털 마케팅에서 유저 conversion prediction을 높일 수 있는 Deep Journey Hierarchical Attention Networks (DJHAN) 제안하여, 디지털 마케팅에서 중요한 Conversion Rate (CVR)과 Return on Ad Spend (ROAS)를 기존에 비해 높이고, 실제 수집된 마케팅 데이터(KT/NasMedia)에 적용하여 높은 성능을 보여주었습니다. Deep Journey Hierarchical Attention Networks for Predictions in Digital Marketing Girim Ban, Hyeonseok Yun, Banseok Lee, David Sung, and Simon S. Woo* 33rd ACM International Conference on Information & Knowledge Management (CIKM), Boise, Idaho, USA, October 2024
-
- 작성일 2024-08-28
- 조회수 768
-
- 성균관대 인공지능대학원, '디지털혁신인재 심포지엄' 참가
- '2024 디지털혁신인재 심포지엄'이 지난 22일과 23일 양일간 서울 중구 대한상공회의소에서 개최되었다. 이번 행사에는 디지털 분야 대학원생, 대학생, 대학총장들이 참여하여 디지털혁신인재 양성을 위한 정책방향 등을 자유롭게 논의하였다. 22일(목) 디지털혁신인재 심포지엄 주요 관계자 분들이 성균관대 인공지능대학원 부스를 방문하여 이지형 사업총괄책임자가 설명을 하고 있다. 23일(금) 성균관대학교 유지범 총장이 인공지능대학원 부스를 방문하였다.
-
- 작성일 2024-08-26
- 조회수 568
-
-
- 김유성 교수 연구실 CIKM 2024 논문 2편 게재 승인
- CSI (Computer Systems and Intelligence) 연구실의 (지도교수:김유성) 논문 2편이 인공지능 분야의 Top-tier 국제학술대회인 CIKM (Conference on Information and Knowledge Management) 2024에 게재 승인되었습니다. 논문1 : Novelty-aware Graph Traversal and Expansion for Hierarchical Reinforcement Learning 은 박사과정 박종찬, 오승준군이 공동 제1저자로 참여하였습니다. 이 논문은 복잡하고 장기적인 목표를 가진 환경에서 행동 정책을 학습하는 어려움을 극복하기 위해 Novelty-aware Graph Traversal and Expansion (NGTE) 이라는 새로운 방법을 제안합니다. 기존의 그래프 기반 계층형 강화학습 방법은 비효율적인 하위 목표를 생성하는 문제를 가지고 있었으나, NGTE는 그래프 경계에서 최적의 노드를 하위 목표로 선택하고, 이 목표에 도달한 후 탐험 단계로 전환하여 그래프에 포함되지 못한 새로운 노드를 탐색합니다. NGTE는 노드간 거리를 예측하는 Distance Critic과 새로운 노드를 탐색하는 Novelty Critic을 사용하여 최적의 하위 목표 선택 및 신속한 그래프 확장을 가능하게 합니다. 네 발 로봇 내비게이션과 로봇 팔 조작과 같은 복잡한 환경에서 기존 방법들보다 우수한 성능을 보였으며, 특히 시작과 목표가 고정되어 환경 탐색이 중요한 환경에서 탁월한 성능을 발휘하였습니다. 논문2 : Self-supervised One-Stage Learning for RF-based Multi-Person Pose Estimation 은 석사과정 졸업생 신승환군이 저자로 참여하였습니다. 이 논문은 여러 사람이 있는 환경에서 무선 주파수(RF) 신호를 기반으로 비가시 영역의 위치한 다중 사람들의 자세를 추정하는 새로운 방법을 제안합니다. 기존의 RF 기반 방식은 복잡한 전처리 과정이나 깊은 신경망을 통해 신호를 임베딩했지만, 제안된 방법은 복수의 안테나로 수신된 RF 신호를 서브 그룹으로 나누고, 각 그룹을 공유된 단층 CNN 만으로 임베딩 후, 그룹들간 멀티 헤드 어텐션을 적용하여 보다 가볍고 효율적으로 설계될 수 있음을 보였습니다. 또한, 새로운 자가 지도 학습(Self-Supervised Learning) 방법을 제안하여 마스킹된 서브 그룹 단위 잠재 표현을 예측하여 자세 추정 성능을 더욱 향상시켰습니다. 실험 결과, 제안된 모델은 기존의 방법보다 학습 파라미터개수를 2% 만을 사용하면서 PCKh@0.5 정확도를 최대 15% 향상시켰으며, 특히 학습때 경험하지 않은 새로운 위치나 장애물 놓인 환경에서 더욱 뛰어난 성능을 발휘했습니다. CSI Lab. (지도교수 김유성 yskim525@skku.edu) | https://csi-skku.github.io
-
- 작성일 2024-07-17
- 조회수 972
-
-
- 이지형 교수 연구실, ECCV 2024 논문 2편 게재 승인
- 정보 및 지능 시스템 연구실(지도교수:이지형)의 논문 2편이 컴퓨터 비전 및 인공지능 분야의 최우수 국제 학술대회인 European Conference on Computer Vision (ECCV) 2024에 게재 승인되었습니다. 논문 #1 : "ExMatch: Self-guided Exploitation for Semi-Supervised Learning with Scarce Labeled Samples" (전자전기컴퓨터공학과 박사 김누리, 인공지능학과 석박통합과정 이진섭) "ExMatch: Self-guided Exploitation for Semi-Supervised Learning with Scarce Labeled Samples " 논문에서는 레이블 데이터의 수가 매우 희소할 때 발생하는 준지도 학습(Semi-supervised Learning)의 성능 저하를 막기 위한 방법을 제안합니다. 준지도 학습은 소수의 레이블 데이터와 다수의 언레이블 데이터를 함께 사용하여 학습을 수행하는 방법입니다. 하지만 레이블 데이터가 희소해지면, 준지도 모델은 레이블 데이터로부터 얻을 수 있는 정보가 감소하기 때문에 언레이블 데이터를 잘못된 레이블로 활용할 가능성이 높아집니다. 이를 해결하기 위해 본 논문에서는 자기지도 모델을 사용하여 데이터의 분포 정보를 얻고, 이를 기반으로 신뢰할 수 있는 언레이블 데이터를 선별하여 추가적으로 학습하는 새로운 방법을 제안합니다. 제안 방법은 클래스별 레이블 데이터가 매우 희소한 상황에서 약 5%에서 21%의 높은 성능 향상을 보여줍니다. Abstract: Semi-supervised learning is a learning method that uses both labeled and unlabeled samples to improve the performance of the model while reducing labeling costs. When there were tens to hundreds of labeled samples, semi-supervised learning methods showed good performance, but most of them showed poor performance when only a small number of labeled samples were given. In this paper, we focus on challenging label-scarce environments, where there are only a few labeled samples per class. Our proposed model, ExMatch, is designed to obtain reliable information from unlabeled samples using self-supervised models and utilize it for semi-supervised learning. In the training process, ExMatch guides the model to maintain an appropriate distribution and resist learning from incorrect pseudo-labels based on the information from self-supervised models and its own model. ExMatch shows very stable training progress and the state-of-the-art performances on multiple benchmark datasets. In extremely label-scare situations, performances are improved by about 5% to 21% for CIFAR-10/100 and SVHN. ExMatch also demonstrates significant performance improvements in high-resolution and large-scale dataset such as STL-10, Tiny-ImageNet, and ImageNet. 논문 #2 : "IGNORE: Information Gap-based False Negative Rejection for Single Positive Multi-Label Learning" (인공지능학과 석사 송경렬, 전자전기컴퓨터공학과 박사 김누리, 인공지능학과 석박통합과정 이진섭) " IGNORE: Information Gap-based False Negative Rejection for Single Positive Multi-Label Learning " 논문에서는 이미지당 하나의 긍정 레이블만 주어진 환경에서의 다중 레이블 분류(Single Positive Multi-Label Learning, SPML)를 위한 학습 방법을 제안합니다. 대부분의 기존 방법들은 주석되지 않은 레이블 (unannotated label)을 부정 레이블 (negative label)로 가정하는데, 이 과정에서 일부 긍정 레이블을 부정 레이블로 잘못 간주합니다. 즉, 이러한 가정에서는 거짓 부정(False Negative) 레이블들이 발생하여 다중 레이블 분류 모델의 학습을 방해하고 모델 일반화 성능을 저하하는 문제가 있습니다. 이러한 거짓 부정 레이블들을 학습에서 제외시키기 위해, 본 논문에서는 로짓 (logit) 차이를 기반으로 한 거짓 부정 레이블 거부 방법을 제안합니다. 제안된 방법은 주어진 단일 긍정 라벨의 판별 영역을 제외한 모든 부분이 제거된 마스크 이미지를 생성합니다. 마스크 이미지에 객체 정보가 없을 때, 해당 객체에 대한 모델의 로짓이 낮다는 점을 이용하여, 마스크 이미지와 원본 이미지 사이에 모델의 로짓 차이가 큰 경우 거짓 부정 라벨로 식별합니다. 즉, 이미지 변형을 통해 이미지 수준에서의 정보 차이를 발생시키고, 이에 따른 모델 출력 차이를 거짓 부정 식별의 기준으로 삼습니다. 제안 방법은 Pascal VOC 2012, MS COCO, NUSWIDE, CUB과 같은 다양한 다중 레이블 데이터셋에서 우수한 성능을 달성하였습니다. Abstract: Single Positive Multi-Label Learning (SPML) is a learning environment for multi-label classification task, in which each image is assigned only one positive label while the other labels remain unannotated. Most approaches for SPML assume unannotated labels as negatives (“Assumed Negative", AN). However, with this assumption, some positive labels are inevitably regarded as negative (false negative), resulting in model performance degradation. Therefore, identifying false negatives is the most important with AN assumption. Previous approaches identified false negative labels using the model outputs of assumed negative labels. However, models were trained with noisy negative labels, their outputs were not reliable. Therefore, it is necessary to consider effectively utilizing the most reliable information in SPML for identifying false negative labels. In this paper, we propose an Information Gap-based false Negative lOss REjection (IGNORE) method for SPML. We generate the masked image that all parts are removed except for the discriminative area of the single positive label. It is reasonable that when there is no information of an object in the masked image, the model’s logit for that object is low. Based on this intuition, we identify the false negative labels if they have a significant model’s logit gap between the masked image and the original image. Also, by rejecting false negatives in the model training, we can prevent the model from being biased to false negative labels, and build more reliable models. We evaluate our method on four datasets: Pascal VOC 2012, MS COCO, NUSWIDE, and CUB. Compared to previous state-of-the-art methods in SPML, our method outperforms them on most of the datasets.
-
- 작성일 2024-07-08
- 조회수 809
-
- 김유성 교수 연구실 임정기 석사과정 ECCV 2024 논문 게재 승인
- CSI 연구실의 (지도교수: 김유성) 논문이 컴퓨터 비전 및 인공지능 분야의 Top-tier 학술대회인 European Conference on Computer Vision (ECCV) 2024에 게재 승인되었습니다. 논문 "Cross-Domain Semantic Segmentation on Inconsistent Taxonomy using Vision Language Models" 은 석사과정 임정기군이 저자로 참여했습니다. 비지도 도메인 적응은 (Unsupervised Domain Adaptation, UDA) 정답 레이블과 함께 주어진 소스 도메인 (예: 가상 주행 데이터) 에서 학습 후 레이블이 없는 타겟 도메인으로 (예: 실제 주행 데이터) 적응할 수 있습니다. 특히 픽셀 단위 (예: semantic segmentation) 라벨링을 수작업으로 하는데는 비용이 큰 만큼 UDA 는 매우 중요합니다. 기존의 UDA 연구는 일관된 클래스 체계를 전제로 하였으나, 실제 상황에서는 소스와 타겟 도메인 간에 클래스 차이가 존재할 수 있습니다. 이 논문에서는 비전 언어 모델 (VLMs)을 활용하여 클래스 체계가 불일치하는 상황에서도 효과적으로 도메인 적응을 수행하는 방법을 소개합니다. 제안된 방법은 기존 UDA 방법의 세그먼트 추론과 VLMs의 풍부한 의미적 지식을 결합하여 타겟 도메인의 클래스에 맞게 재라벨링합니다. 이로 인해 소스 도메인에서 존재하지 않는 클래스를 포함한 타겟 도메인으로 비지도 적응이 가능해졌으며, 다양한 벤치마크에서 일관된 성능 향상을 보여줍니다.
-
- 작성일 2024-07-04
- 조회수 860
-
- 우사이먼성일 교수(DASH 연구실), PAKDD 2024 국제 학술대회에서 Best Paper Running-Up Award (2nd Place) 수상
- 대만 타이페이에서 5월 7일부터 10일까지 열린 PAKDD 2024 (BK CS IF=1)에서 DASH 연구실(지도교수: 우사이먼성일)의 Bin M. Le 박사과정학생과 우사이먼성일교수의 "SEE: Spherical Embedding Expansion for Improving Deep Metric Learning" 논문이 Best Paper Running-Up Award (2nd Place) 수상하였습니다. 이번 PAKDD 2024는 전 세계에서 submit된 720편의 우수한 논문들 중에서 엄격한 심사 과정을 거쳐, 최종적으로 단 4편의 논문이 Best Paper로 선정되었습니다. 논문링크: https://link.springer.com/chapter/10.1007/978-981-97-2253-2_11 https://pakdd2024.org/award24awardpakdd24/ DASH Lab won the Best Paper Running-Up Award (2nd Best Paper) at PAKDD 2024 in Taiwan. Binh M. Le and Simon S. Woo’s paper, “SEE: Spherical Embedding Expansion for Improving Deep Metric Learning,” received the the Best Paper Running-Up Award (2nd best paper) in PAKDD 2024 (BK CS IF=1), held in Taipei in May 2024. Here is the background information about the award: “This year, PAKDD received 720 excellent submissions, and the selection process was competitive, rigorous, and thorough with over 500 PC and 100 SPC members. An award committee was formed by a chair and four committee members from different countries. There are only one Best Paper Award, two Best Paper Running-Up Awards, and one Best Student Paper Award.” Paper Link: https://link.springer.com/chapter/10.1007/978-981-97-2253-2_11 https://pakdd2024.org/award24awardpakdd24/
-
- 작성일 2024-06-05
- 조회수 913