성균관대학교 인공지능대학원

본문 바로가기
주메뉴 바로가기
서브메뉴 바로가기

팝업

성균관대학교 인공지능대학원

SKKU AI Colloquium 2021

○ 일시 : 11월 4일(목) ~ 11월 5일(금)

○ 온라인 실시간 진행

https://skku-ict.webex.com/meet/ai.dept

https://www.youtube.com/channel/UCCt9jL-xOkAiWqcaYFy3fow

Talking, Sharing and Learning for MEGA AI

팝업 닫기 1일간팝업열지않기

SKKU AI Colloquium 2021 (11/4 목 ~ 11/5 금)

SKKU AI, 600년 미래를 열다

Notice

공지사항
Read More

News

인공지능학과

고영중 교수 자연어처리연구실, CIKM 2021 국제 학술대회 논문 4편 게재 승인
2021-10-26
고영중 교수 자연어처리연구실, CIKM 2021 국제 학술대회 논문 4편 게재 승인 자연어처리연구실 김보성 연구원, 최혜원 석사과정, 손동철 석사과정, 유하은 석사과정(이상 소프트웨어학과), 김명준 석사과정(인공지능학과)의 논문 4편이 인공지능 및 정보검색 분야의 top-tier 국제 학술대회인 CIKM (Conference on Information and Knowledge Management) 2021에 최종 논문 게재가 승인되어 11월에 발표될 예정입니다. 1. Bosung Kim, Hyewon Choi, Haeun Yu and Youngjoong Ko, "Query Reformulation for Descriptive Queries of Jargon Words Using a Knowledge Graph based on a Dictionary.", Proceedings of the 30th ACM International Conference on Information and Knowledge Management (CIKM 2021), November 2021. 본 연구에서는 전문 용어 검색을 위해 사전을 활용한 그래프 기반 질의 변형 시스템을 제안합니다. 서술형 질의가 주어졌을 때, 제안 시스템은 표제어와 사전 설명의 쌍으로 구성된 그래프를 통해 이에 해당하는 전문 용어를 예측합니다. 이 과정에서 그래프 신경망과 고속 그래프 검색 모델을 활용하여 검색의 정확성과 효율성을 개선했습니다. 두 개의 데이터셋을 이용한 실험 결과, 제안 방법이 서술형 질의를 전문 용어로 효과적으로 재구성할 수 있을 뿐만 아니라 여러 프레임워크에서 검색 성능을 향상시킬 수 있음을 보였습니다. 2. Meoungjun Kim and Youngjoong Ko, "Self-supervised Fine-tuning for Efficient Passage Re-ranking.", Proceedings of the 30th ACM International Conference on Information and Knowledge Management (CIKM 2021), November 2021. 본 연구에서는 마스킹 언어 모델(MLM) 학습을 이용한 새로운 미세 조정 기법으로 문서 랭킹 성능을 개선했습니다. 제안 모델은 랭킹 성능을 올리는 동시에 적은 데이터를 효율적으로 활용하는 데이터 증강 효과를 보였습니다. 이러한 접근 방식은 고비용의 레이블 데이터에 의존하지 않는 자기주도 학습을 정보검색에 적용했다는 의의가 있습니다. 또한, BM25 알고리즘을 활용하여 문서를 구성하는 단어의 중요도를 계산, 학습에 반영했습니다. MS MARCO Re-ranking 리더보드 데이터셋으로 실험한 결과, 우리 모델은 단일 모델로서는 가장 높은 MRR@10 성능을 얻었습니다. 3. Dongcheol Son and Youngjoong Ko, "Self-Supervised Learning based on Sentiment Analysis with Word Weight Calculation.", Proceedings of the 30th ACM International Conference on Information and Knowledge Management (CIKM 2021), November 2021. 감정 분석 성능을 개선하기 위해서는 도메인 정보를 학습하는 것이 중요합니다. 하지만 이를 위해서는 고비용인 대규모 학습 데이터를 확보해야 합니다. 본 연구에서는 적은 양의 데이터를 이용해 도메인 정보를 효율적으로 학습하고 감정 분석 성능을 개선할 수 있는 새로운 학습 기법을 제안합니다. 우리는 감정 분석 과제에서 단어의 중요도를 계산하고 미세 조정 성능을 개선하기 위해 마스킹 언어 모델(MLM) 학습을 사용했습니다. 감정 분석 분야의 데이터셋 네 종류를 이용한 실험 결과, 제안 모델은 이전 결과를 모두 앞서는 성능을 보였습니다. 4. Hyewon Choi and Youngjoong Ko, "Using Topic Modeling and Adversarial Neural Networks for Fake News Video Detection.", Proceedings of the 30th ACM International Conference on Information and Knowledge Management (CIKM 2021), November 2021. 본 연구에서는 적대적 학습과 토픽 모델을 활용하여 유튜브의 가짜 뉴스 영상을 구별할 수 있는 탐지 시스템을 제안합니다. 제안 모델에서는 영상의 제목, 설명, 댓글을 이용하여 토픽 분포를 추론하고, 제목/설명과 댓글 간 분포가 어떻게 차이 나는지를 식별합니다. 또한, 영상의 주제를 판단하는데 도움이 되는 자질을 추출하기 위해 적대적 신경망을 학습시킵니다. 우리 모델은 자세 분석에서 주제의 변화를 효율적으로 탐지할 수 있으며, 다양한 주제에서 적용이 가능합니다. 연구 결과, 가짜 뉴스 영상 탐지 분야의 기존 연구보다 더 높은 F1 스코어 성능을 얻었습니다. 고영중 교수: yjko@skku.edu, 자연어처리연구실: nlp.skku.edu; nlplab.skku.edu

우사이먼 교수(DASH) 연구실 NeurIPS 2021 국제학술대회 논문 2편 게재 승인
2021-10-21
Data-driven AI Security HCI 연구실(지도교수: 우사이먼성일)의 논문 2편이 인공지능 및 기계학습 분야 최우수 학회인 Neural Information Processing System (NeurIPS) 2021 (BK CS IF=4)의 Datasets and Benchmarks Track 에 게재 승인되었습니다. 논문 #1: “VFP290K: A Large-Scale Benchmark Dataset for Vision-based Fallen Person Detection” (공동 1저자:인공지능학과 석사과정 김정호, 소프트웨어학과 석사과정 안재주, 그리고 인공지능학과 석사과정(이한빈, 김진범, 강준형), 소프트웨어학과 석사과정 김민하, 소프트웨어학과 학부과정(김민하, 홍동희, 신새별), 교신저자 우사이먼교수가 참여하였습니다. “VFP290K: A Large-Scale Benchmark Dataset for Vision-based Fallen Person Detection”에서는 쓰러진 사람을 이상 행동으로 정의하며, 이상 행동 탐지 모델 훈련에 필요한 대규모 데이터셋을 제안하였습니다. 기존 데이터셋의 문제점(특정 상황에 국한된 촬영, 단일 연기자 구성, 환경적 요소 제외, 적은 데이터 수량 등)을 해결하기 위해, 연구팀은 학교 근교를 포함한 길거리, 공원 및 건물 내부 등 49개의 장소에서 131장면을 실제 CCTV 환경을 재현하여 촬영하였습니다. 총 294,714장의 프레임으로 구성된 VFP290K 데이터셋은 광범위한 실험을 통해 기존 데이터셋 보다 데이터의 다양성과 일반화의 우수성을 증명하였으며, 2020년 진행된 인공지능 그랜드 챌린지 대회에서 1단계 1위 및 2단계 3위의 우수한 성적을 보임으로써, VFP290K 데이터셋의 유효성을 입증하였습니다. 논문 #1 요약 및 링크 VFP290K: A Large-Scale Benchmark Dataset for Vision-based Fallen Person Detection Jaeju An*, Jeongho Kim*, Hanbeen Lee, Jinbeom Kim, Junhyung Kang, Minha Kim, Saebyeol Shin, Minha Kim, Donghee Hong, Simon S. Woo Neural Information Processing System (NeurIPS) 2021 Datasets and Benchmarks Track 요약: Detection of fallen persons due to, for example, health problems, violence, or accidents, is a critical challenge. Accordingly, detection of these anomalous events is of paramount importance for a number of applications, including but not limited to CCTV surveillance, security, and health care. Given that many detection systems rely on a comprehensive dataset comprising fallen person images collected under diverse environments and in various situations is crucial. However, existing datasets are limited to only specific environmental conditions and lack diversity. To address the above challenges and help researchers develop more robust detection systems, we create a novel, large-scale dataset for the detection of fallen persons composed of fallen person images collected in various real-world scenarios, with the support of the South Korean government. Our Vision-based Fallen Person (VFP290K) dataset consists of 294,714 frames of fallen persons extracted from 178 videos, including 131 scenes in 49 locations. We empirically demonstrate the effectiveness of the features through extensive experiments analyzing the performance shift based on object detection models. In addition, we evaluate our VFP290K dataset with properly divided versions of our dataset by measuring the performance of fallen person detecting systems. We ranked first in the first round of the anomalous behavior recognition track of AI Grand Challenge 2020, South Korea, using our VFP290K dataset, which can be found here. Our achievement implies the usefulness of our dataset for research on fallen person detection, which can further extend to other applications, such as intelligent CCTV or monitoring systems. The data and more up-to-date information have been provided at our VFP290K site. 논문 #2: “FakeAVCeleb: A Novel Audio-Video Multimodal Deepfake Dataset” (제1저자 Hasam Khalid, 박사과정 Shahroz Tariq, 석사과정 김민하, 교신저자 우사이먼 (이상 소프트웨어학과)) “FakeAVCeleb: A Novel Audio-Video Multimodal Deepfake Dataset”에서는 딥페이크 비디오뿐만 아니라 립싱크 된 오디오를 포함하는 새로운 딥페이크 데이터셋을 제안하였습니다. 기존 딥페이크 데이터셋이 유니모달(Unimodal)에 근거한 단일 딥페이크 데이터셋이라는 한계를 해결하기 위해, 연구팀은 최근 가장 인기 있는 딥페이크 생성 방법과 오디오 생성 방법을 사용해 거의 완벽하게 립싱크 된 멀티모달(Multimodal) 딥페이크 데이터셋을 제작하였습니다. FakeAVCeleb은 인종적 편향성을 제거하기 위해 네 인종(백인, 흑인, 동부 아시아, 남부 아시아)의 비디오를 사용했습니다. 유니모달, 앙상블 추론 및 멀티모달 환경에서 다양한 최신 방법을 사용해 광범위한 실험을 진행했으며, 멀티모달 오디오-비디오 딥페이크 데이터셋의 유용성을 입증하였습니다. 논문 #2 링크 및 요약 FakeAVCeleb: A Novel Audio-Video Multimodal Deepfake Dataset Hasam Khalid, Shahroz Tariq, Minha Kim, Simon S. Woo Neural Information Processing System (NeurIPS) 2021 Datasets and Benchmarks Track 요약: While significant advancements have been made in the generation of deepfakes using deep learning technologies, its misuse is a well-known issue now. Deepfakes can cause severe security and privacy issues as they can be used to impersonate a person's identity in a video by replacing his/her face with another person's face. Recently, a new problem of generating synthesized human voice of a person is emerging, where AI-based deep learning models can synthesize any person's voice requiring just a few seconds of audio. With the emerging threat of impersonation attacks using deepfake audios and videos, a new generation of deepfake detectors is needed to focus on both video and audio collectively. A large amount of good quality datasets is typically required to capture the real-world scenarios to develop a competent deepfake detector. Existing deepfake datasets either contain deepfake videos or audios, which are racially biased as well. Hence, there is a crucial need for creating a good video as well as an audio deepfake dataset, which can be used to detect audio and video deepfake simultaneously. To fill this gap, we propose a novel Audio-Video Deepfake dataset (FakeAVCeleb) that contains not only deepfake videos but also respective synthesized lip-synced fake audios. We generate this dataset using the current most popular deepfake generation methods. We selected real YouTube videos of celebrities with four racial backgrounds (Caucasian, Black, East Asian, and South Asian) to develop a more realistic multimodal dataset that addresses racial bias, and further help develop multimodal deepfake detectors. We performed several experiments using state-of-the-art detection methods to evaluate our deepfake dataset and demonstrate the challenges and usefulness of our multimodal Audio-Video deepfake dataset. 위 논문들은 성균관대학교 인공지능학과와 소프트웨어학과 학생들의 협업과 노력으로 완성되었으며, 성균관대학 대학교에서 독자적으로 추진한 연구로 본교 인공지능학과/소프트웨어학과의 우수성을 입증하였습니다.

성균관대- 한컴 'AI 기술 교류' 등 업무협약
2021-10-20
관련기사 링크 : https://newsis.com/view/?id=NISX20211020_0001619927&cID=10201&pID=10200

허재필 교수 연구실, ICCV 2021 국제학술대회 논문 2편 게재 승인 (노해찬 박사과정, 김태호 석박통합과정, 주원영 석사과정)
2021-08-30
비주얼컴퓨팅연구실(지도교수: 허재필)의 논문 2편이 컴퓨터 비전 및 인공지능 분야의 Top-tier 학술대회인 IEEE/CVF International Conference on Computer Vision (ICCV) 2021 에 게재 승인되었습니다 논문 #1: “Product Quantizer Aware Inverted Index for Scalable Nearest Neighbor Search” (인공지능학과 박사과정 노해찬 학우, 인공지능학과 석박통합과정 김태호 학우) 논문 #2: “Collaborative Learning with Disentangled Features for Zero-shot Domain Adaptation” (인공지능학과 석사과정 주원영 학우) “Product Quantizer Aware Inverted Index for Scalable Nearest Neighbor Search” 에서는 대용량 데이터 베이스에 대한 최근접 이웃 근사(Nearest Neighbor Approximation) 기술에 사용되는 역색인 (Inverted Indexing) 구조의 새로운 학습 방법을 제시하였습니다. 기존의 기술들은 탐색 속도의 복잡도를 줄이기 위한 역색인 구조와 속도 및 메모리 사용량을 줄이기 위한 손실 압축 기법을 동시에 사용하지만 각각의 기법은 독립적으로 학습되었습니다. 본 연구에서는 이 두 가지 기법을 공동 최적화 (Joint Optimization)를 통해 압축 기법의 왜곡 (Distortion) 을 줄이는 학습 방법을 제안하여 대용량 데이터 베이스에 대한 최근접 이웃 근사 기술 분야에서 가장 높은 성능을 달성하였습니다. “Collaborative Learning with Disentangled Features for Zero-shot Domain Adaptation” 연구에서는 전이학습의 한 분야인 Zero-shot Domain Adaptation (ZSDA) 을 위한 새로운 프레임워크를 제시하였습니다. ZSDA는 타겟 도메인의 특정 클래스에 대한 데이터가 존재하지 않을 때, 다른 클래스들의 도메인 변화 (Domain Shift) 를 포착하여 도메인 적응을 시도하는 기술입니다. 제안하는 모델에서는 이미지에서 도메인 특징점과 의미론적 (Semantic) 특징점을 추출한 뒤, 두 특징점간의 협력적 학습과정 (Collaborative Learning) 을 통해 클래스를 예측하도록 설계하였습니다. 제안된 모델은 현재 ZSDA 분야에서 가장 높은 성능을 달성하였으며, 추후 Zero-shot Learning 및 도메인 적응 연구에 큰 도움이 될 것입니다. [논문 #1 정보] Product Quantizer Aware Inverted Index for Scalable Nearest Neighbor Search Haechan Noh, Taeho Kim, and Jae-Pil Heo IEEE/CVF International Conference on Computer Vision (ICCV), 2021 Abstract: The inverted index is one of the most commonly used structures for non-exhaustive nearest neighbor search on large-scale datasets. It allows a significant factor of acceleration by a reduced number of distance computations with only a small fraction of the database. In particular, the inverted index enables the product quantization (PQ) to learn their codewords in the residual vector space. The quantization error of the PQ can be substantially improved in such combination since the residual vector space is much more quantization-friendly thanks to their compact distribution compared to the original data. In this paper, we first raise an unremarked but crucial question; why the inverted index and the product quantizer are optimized separately even though they are closely related? For instance, changes on the inverted index distort the whole residual vector space. To address the raised question, we suggest a joint optimization of the coarse and fine quantizers by substituting the original objective of the coarse quantizer to end-to-end quantization distortion. Moreover, our method is generic and applicable to different combinations of coarse and fine quantizers such as inverted multi-index and optimized PQ. [논문 #2 정보] Collaborative Learning with Disentangled Features for Zero-shot Domain Adaptation Won Young Jhoo, and Jae-Pil Heo IEEE/CVF International Conference on Computer Vision (ICCV), 2021 Abstract: Typical domain adaptation techniques aim to transfer the knowledge learned from a label-rich source domain to a label-scarce target domain in the same label space. However, it is often hard to get even the unlabeled target domain data of a task of interest. In such a case, we can capture the domain shift between the source domain and target domain from an unseen task and transfer it to the task of interest, which is known as zero-shot domain adaptation (ZSDA). Most of existing state-of-the-art methods for ZSDA attempted to generate target domain data. However, training such generative models causes significant computational overhead and is hardly optimized. In this paper, we propose a novel ZSDA method that learns a task-agnostic domain shift by collaborative training of domain-invariant semantic features and task-invariant domain features via adversarial learning. Meanwhile, the spatial attention map is learned from disentangled feature representations to selectively emphasize the domain-specific salient parts of the domain-invariant features. Experimental results show that our ZSDA method achieves state-of-the-art performance on several benchmarks.

prev next

Read More

Schedule

오늘의 행사

10월 October / 2021

2021.10.28(목)

등록된 일정이 없습니다.

Read More

이달의 행사

10월 October / 2021

2021.10

Read More

Link