-
-
- 김유성 교수 연구실 CIKM 2024 논문 2편 게재 승인
- CSI (Computer Systems and Intelligence) 연구실의 (지도교수:김유성) 논문 2편이 인공지능 분야의 Top-tier 국제학술대회인 CIKM (Conference on Information and Knowledge Management) 2024에 게재 승인되었습니다. 논문1 : Novelty-aware Graph Traversal and Expansion for Hierarchical Reinforcement Learning 은 박사과정 박종찬, 오승준군이 공동 제1저자로 참여하였습니다. 이 논문은 복잡하고 장기적인 목표를 가진 환경에서 행동 정책을 학습하는 어려움을 극복하기 위해 Novelty-aware Graph Traversal and Expansion (NGTE) 이라는 새로운 방법을 제안합니다. 기존의 그래프 기반 계층형 강화학습 방법은 비효율적인 하위 목표를 생성하는 문제를 가지고 있었으나, NGTE는 그래프 경계에서 최적의 노드를 하위 목표로 선택하고, 이 목표에 도달한 후 탐험 단계로 전환하여 그래프에 포함되지 못한 새로운 노드를 탐색합니다. NGTE는 노드간 거리를 예측하는 Distance Critic과 새로운 노드를 탐색하는 Novelty Critic을 사용하여 최적의 하위 목표 선택 및 신속한 그래프 확장을 가능하게 합니다. 네 발 로봇 내비게이션과 로봇 팔 조작과 같은 복잡한 환경에서 기존 방법들보다 우수한 성능을 보였으며, 특히 시작과 목표가 고정되어 환경 탐색이 중요한 환경에서 탁월한 성능을 발휘하였습니다. 논문2 : Self-supervised One-Stage Learning for RF-based Multi-Person Pose Estimation 은 석사과정 졸업생 신승환군이 저자로 참여하였습니다. 이 논문은 여러 사람이 있는 환경에서 무선 주파수(RF) 신호를 기반으로 비가시 영역의 위치한 다중 사람들의 자세를 추정하는 새로운 방법을 제안합니다. 기존의 RF 기반 방식은 복잡한 전처리 과정이나 깊은 신경망을 통해 신호를 임베딩했지만, 제안된 방법은 복수의 안테나로 수신된 RF 신호를 서브 그룹으로 나누고, 각 그룹을 공유된 단층 CNN 만으로 임베딩 후, 그룹들간 멀티 헤드 어텐션을 적용하여 보다 가볍고 효율적으로 설계될 수 있음을 보였습니다. 또한, 새로운 자가 지도 학습(Self-Supervised Learning) 방법을 제안하여 마스킹된 서브 그룹 단위 잠재 표현을 예측하여 자세 추정 성능을 더욱 향상시켰습니다. 실험 결과, 제안된 모델은 기존의 방법보다 학습 파라미터개수를 2% 만을 사용하면서 PCKh@0.5 정확도를 최대 15% 향상시켰으며, 특히 학습때 경험하지 않은 새로운 위치나 장애물 놓인 환경에서 더욱 뛰어난 성능을 발휘했습니다. CSI Lab. (지도교수 김유성 yskim525@skku.edu) | https://csi-skku.github.io
-
- 작성일 2024-07-17
- 조회수 1343
-
-
- 이지형 교수 연구실, ECCV 2024 논문 2편 게재 승인
- 정보 및 지능 시스템 연구실(지도교수:이지형)의 논문 2편이 컴퓨터 비전 및 인공지능 분야의 최우수 국제 학술대회인 European Conference on Computer Vision (ECCV) 2024에 게재 승인되었습니다. 논문 #1 : "ExMatch: Self-guided Exploitation for Semi-Supervised Learning with Scarce Labeled Samples" (전자전기컴퓨터공학과 박사 김누리, 인공지능학과 석박통합과정 이진섭) "ExMatch: Self-guided Exploitation for Semi-Supervised Learning with Scarce Labeled Samples " 논문에서는 레이블 데이터의 수가 매우 희소할 때 발생하는 준지도 학습(Semi-supervised Learning)의 성능 저하를 막기 위한 방법을 제안합니다. 준지도 학습은 소수의 레이블 데이터와 다수의 언레이블 데이터를 함께 사용하여 학습을 수행하는 방법입니다. 하지만 레이블 데이터가 희소해지면, 준지도 모델은 레이블 데이터로부터 얻을 수 있는 정보가 감소하기 때문에 언레이블 데이터를 잘못된 레이블로 활용할 가능성이 높아집니다. 이를 해결하기 위해 본 논문에서는 자기지도 모델을 사용하여 데이터의 분포 정보를 얻고, 이를 기반으로 신뢰할 수 있는 언레이블 데이터를 선별하여 추가적으로 학습하는 새로운 방법을 제안합니다. 제안 방법은 클래스별 레이블 데이터가 매우 희소한 상황에서 약 5%에서 21%의 높은 성능 향상을 보여줍니다. Abstract: Semi-supervised learning is a learning method that uses both labeled and unlabeled samples to improve the performance of the model while reducing labeling costs. When there were tens to hundreds of labeled samples, semi-supervised learning methods showed good performance, but most of them showed poor performance when only a small number of labeled samples were given. In this paper, we focus on challenging label-scarce environments, where there are only a few labeled samples per class. Our proposed model, ExMatch, is designed to obtain reliable information from unlabeled samples using self-supervised models and utilize it for semi-supervised learning. In the training process, ExMatch guides the model to maintain an appropriate distribution and resist learning from incorrect pseudo-labels based on the information from self-supervised models and its own model. ExMatch shows very stable training progress and the state-of-the-art performances on multiple benchmark datasets. In extremely label-scare situations, performances are improved by about 5% to 21% for CIFAR-10/100 and SVHN. ExMatch also demonstrates significant performance improvements in high-resolution and large-scale dataset such as STL-10, Tiny-ImageNet, and ImageNet. 논문 #2 : "IGNORE: Information Gap-based False Negative Rejection for Single Positive Multi-Label Learning" (인공지능학과 석사 송경렬, 전자전기컴퓨터공학과 박사 김누리, 인공지능학과 석박통합과정 이진섭) " IGNORE: Information Gap-based False Negative Rejection for Single Positive Multi-Label Learning " 논문에서는 이미지당 하나의 긍정 레이블만 주어진 환경에서의 다중 레이블 분류(Single Positive Multi-Label Learning, SPML)를 위한 학습 방법을 제안합니다. 대부분의 기존 방법들은 주석되지 않은 레이블 (unannotated label)을 부정 레이블 (negative label)로 가정하는데, 이 과정에서 일부 긍정 레이블을 부정 레이블로 잘못 간주합니다. 즉, 이러한 가정에서는 거짓 부정(False Negative) 레이블들이 발생하여 다중 레이블 분류 모델의 학습을 방해하고 모델 일반화 성능을 저하하는 문제가 있습니다. 이러한 거짓 부정 레이블들을 학습에서 제외시키기 위해, 본 논문에서는 로짓 (logit) 차이를 기반으로 한 거짓 부정 레이블 거부 방법을 제안합니다. 제안된 방법은 주어진 단일 긍정 라벨의 판별 영역을 제외한 모든 부분이 제거된 마스크 이미지를 생성합니다. 마스크 이미지에 객체 정보가 없을 때, 해당 객체에 대한 모델의 로짓이 낮다는 점을 이용하여, 마스크 이미지와 원본 이미지 사이에 모델의 로짓 차이가 큰 경우 거짓 부정 라벨로 식별합니다. 즉, 이미지 변형을 통해 이미지 수준에서의 정보 차이를 발생시키고, 이에 따른 모델 출력 차이를 거짓 부정 식별의 기준으로 삼습니다. 제안 방법은 Pascal VOC 2012, MS COCO, NUSWIDE, CUB과 같은 다양한 다중 레이블 데이터셋에서 우수한 성능을 달성하였습니다. Abstract: Single Positive Multi-Label Learning (SPML) is a learning environment for multi-label classification task, in which each image is assigned only one positive label while the other labels remain unannotated. Most approaches for SPML assume unannotated labels as negatives (“Assumed Negative", AN). However, with this assumption, some positive labels are inevitably regarded as negative (false negative), resulting in model performance degradation. Therefore, identifying false negatives is the most important with AN assumption. Previous approaches identified false negative labels using the model outputs of assumed negative labels. However, models were trained with noisy negative labels, their outputs were not reliable. Therefore, it is necessary to consider effectively utilizing the most reliable information in SPML for identifying false negative labels. In this paper, we propose an Information Gap-based false Negative lOss REjection (IGNORE) method for SPML. We generate the masked image that all parts are removed except for the discriminative area of the single positive label. It is reasonable that when there is no information of an object in the masked image, the model’s logit for that object is low. Based on this intuition, we identify the false negative labels if they have a significant model’s logit gap between the masked image and the original image. Also, by rejecting false negatives in the model training, we can prevent the model from being biased to false negative labels, and build more reliable models. We evaluate our method on four datasets: Pascal VOC 2012, MS COCO, NUSWIDE, and CUB. Compared to previous state-of-the-art methods in SPML, our method outperforms them on most of the datasets.
-
- 작성일 2024-07-08
- 조회수 1245
-
- 김유성 교수 연구실 임정기 석사과정 ECCV 2024 논문 게재 승인
- CSI 연구실의 (지도교수: 김유성) 논문이 컴퓨터 비전 및 인공지능 분야의 Top-tier 학술대회인 European Conference on Computer Vision (ECCV) 2024에 게재 승인되었습니다. 논문 "Cross-Domain Semantic Segmentation on Inconsistent Taxonomy using Vision Language Models" 은 석사과정 임정기군이 저자로 참여했습니다. 비지도 도메인 적응은 (Unsupervised Domain Adaptation, UDA) 정답 레이블과 함께 주어진 소스 도메인 (예: 가상 주행 데이터) 에서 학습 후 레이블이 없는 타겟 도메인으로 (예: 실제 주행 데이터) 적응할 수 있습니다. 특히 픽셀 단위 (예: semantic segmentation) 라벨링을 수작업으로 하는데는 비용이 큰 만큼 UDA 는 매우 중요합니다. 기존의 UDA 연구는 일관된 클래스 체계를 전제로 하였으나, 실제 상황에서는 소스와 타겟 도메인 간에 클래스 차이가 존재할 수 있습니다. 이 논문에서는 비전 언어 모델 (VLMs)을 활용하여 클래스 체계가 불일치하는 상황에서도 효과적으로 도메인 적응을 수행하는 방법을 소개합니다. 제안된 방법은 기존 UDA 방법의 세그먼트 추론과 VLMs의 풍부한 의미적 지식을 결합하여 타겟 도메인의 클래스에 맞게 재라벨링합니다. 이로 인해 소스 도메인에서 존재하지 않는 클래스를 포함한 타겟 도메인으로 비지도 적응이 가능해졌으며, 다양한 벤치마크에서 일관된 성능 향상을 보여줍니다.
-
- 작성일 2024-07-04
- 조회수 1121
-
- 우사이먼성일 교수(DASH 연구실), PAKDD 2024 국제 학술대회에서 Best Paper Running-Up Award (2nd Place) 수상
- 대만 타이페이에서 5월 7일부터 10일까지 열린 PAKDD 2024 (BK CS IF=1)에서 DASH 연구실(지도교수: 우사이먼성일)의 Bin M. Le 박사과정학생과 우사이먼성일교수의 "SEE: Spherical Embedding Expansion for Improving Deep Metric Learning" 논문이 Best Paper Running-Up Award (2nd Place) 수상하였습니다. 이번 PAKDD 2024는 전 세계에서 submit된 720편의 우수한 논문들 중에서 엄격한 심사 과정을 거쳐, 최종적으로 단 4편의 논문이 Best Paper로 선정되었습니다. 논문링크: https://link.springer.com/chapter/10.1007/978-981-97-2253-2_11 https://pakdd2024.org/award24awardpakdd24/ DASH Lab won the Best Paper Running-Up Award (2nd Best Paper) at PAKDD 2024 in Taiwan. Binh M. Le and Simon S. Woo’s paper, “SEE: Spherical Embedding Expansion for Improving Deep Metric Learning,” received the the Best Paper Running-Up Award (2nd best paper) in PAKDD 2024 (BK CS IF=1), held in Taipei in May 2024. Here is the background information about the award: “This year, PAKDD received 720 excellent submissions, and the selection process was competitive, rigorous, and thorough with over 500 PC and 100 SPC members. An award committee was formed by a chair and four committee members from different countries. There are only one Best Paper Award, two Best Paper Running-Up Awards, and one Best Student Paper Award.” Paper Link: https://link.springer.com/chapter/10.1007/978-981-97-2253-2_11 https://pakdd2024.org/award24awardpakdd24/
-
- 작성일 2024-06-05
- 조회수 1253
-
-
-
-
- 이주상 교수 연구팀, CVPR 2024 논문 게재 승인
- 다음세대의학 연구실 (지도교수: 이주상)의 논문 1편이 컴퓨터 비전 및 인공지능 분야의 Top-tier 학술대회인 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2024에 게재 승인되었습니다. 제목: “Accurate Spatial Gene Expression Prediction by Integrating Multi-Resolution Features” (인공지능학과 석박통합과정 정영민, 의학과 석박통합과정 하지훈, 의학과 박사과정 임경찬) “Accurate Spatial Gene Expression Prediction by Integrating Multi-Resolution Features” 논문에서는 암환자 조직 histology 이미지에서 공간 유전체 발현 정보를 보다 정확하게 예측하는 딥러닝 모델을 제안하였습니다. 기존 방법들이 제한적인 해상도의 이미지에만 의존하여 예측을 수행하는 것에 문제를 제기하고, 여러 해상도의 정보를 효과적으로 통합하는 cross-attention 기반 fusion layer을 도입하였으며, 전체 슬라이드 이미지 (whole slide image)에 특화된 position encoding generator인 Atypical Position Encoding Generator (APEG)와 fusion loss를 통해 효과적으로 여러 해상도의 특성(feature)를 통합하였습니다. 모델 성능은 세가지 공간 유전체 데이터셋을 이용하여 평가되었으며, 내부 교차검증과 외부 테스트에서 모두 기존 방법들의 성능을 크게 상회하는 것을 보였습니다. [논문 정보] Accurate Spatial Gene Expression Prediction by Integrating Multi-Resolution Features Youngmin Chung, Ji Hun Ha, Kyeong Chan Im, Joo Sang Lee IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024 Abstract: Recent advancements in Spatial Transcriptomics (ST) technology have facilitated detailed gene expression analysis within tissue contexts. However, the high costs and methodological limitations of ST necessitate a more robust predictive model. In response, this paper introduces TRIPLEX, a novel deep learning framework designed to predict spatial gene expression from Whole Slide Images (WSIs). TRIPLEX uniquely harnesses multi-resolution features, capturing cellular morphology at individual spots, the local context around these spots, and the global tissue organization. By integrating these features through an effective fusion strategy, TRIPLEX achieves accurate gene expression prediction. Our comprehensive benchmark study, conducted on three public ST datasets and supplemented with Visium data from 10X Genomics, demonstrates that TRIPLEX outperforms current state-of-the-art models in Mean Squared Error (MSE), Mean Absolute Error (MAE), and Pearson Correlation Coefficient (PCC). The model's predictions align closely with ground truth gene expression profiles and tumor annotations, underscoring TRIPLEX's potential in advancing cancer diagnosis and treatment.
-
- 작성일 2024-04-08
- 조회수 3334