1. Knowledge Distillation KD(Knowledge Distillation, 지식 증류)는 성능이 좋은 Teacher(큰 모델)이 학습한 정보를 가지고 Student(더 작고 가벼움) 모델의 학습에 사용하는 방식이다. 단순히 큰 모델의 weight를 작은 모델에 복사한다가 아니다. Teacher와 Student의 archi...

Paper Follow Up - 26.08 5주차 HALO: A Heterogeneity-Aware Language-Aligned IMU Foundation Model for Open-Set Human Activity Recognition TRACE-CRC: Trajectory-Adaptive Conformal Risk Con...

GPT를 이용하여 논문들 서칭 후 follow up을 진행하였습니다. 1. 이번 주 주요 이벤트 Trend : 전체 흐름 모델 자체의 표현력을 키우는 것보다, 어떤 변이를 없애고 어떤 불확실성을 보존하며 어떤 조건에서 예측을 신뢰할지를 구조적으로 정의하는 연구가 많음 A : 생체신호 / 의료 시계열 새로운 backbone 자체보다 실제 배포 ...

SAE(Sparse AutoEncoder), Steering Vector SAE(Sparse AutoEncoder) : 모델의 복잡하게 섞인 내부 표현을 sparse하고 해석 가능한 feature로 분해하는 방법 Steering Vector : 모델의 내부 표현에 특정 방향의 벡터를 더하거나 빼서 모델의 판단이나 출력을 원하는 방향으로 이동시...

화자 검증 파이프라인 최적화 화자 검증 challenge에서 학습, 추론, 제출까지 이어지는 전체 파이프라인을 정리하고, 실험 반복 비용을 줄이는 쪽을 맡았다. 기존 pretrained backbone을 fine-tuning해 trial pair score를 계산하는 구조였고, 내가 주로 손댄 부분은 DataLoader 병목, 전처리 병렬화, sco...

한국어 학습자를 위한 노래 추천 시스템 TOPIK 어휘를 기준으로 K-POP 가사의 난이도를 계산하고, 학습자 수준과 선호 장르에 맞는 곡을 추천하는 시스템을 만들었다. 레이블이 없는 환경이어서 별도의 난이도 예측 모델을 학습하기보다, 가사에서 추출할 수 있는 정보로 설명 가능한 점수 체계를 먼저 설계했다. 문제 설정 한국어 학습자가 노래를 학습...

EEG foundation model 이식 및 AAD finetuning 전략 탐색 EEG 기반 Auditory Attention Decoding(AAD) 과제에서 기존 EEG foundation model을 현재 태스크에 붙여보며 finetuning 전략을 조정한 내부 연구 트랙이다. 내가 맡은 작업은 pretrained weight 이식, sam...

Chagas Disease Detection from 12-Lead ECG 한 줄 설명 PhysioNet/CinC Challenge 2025에서, 12-lead ECG 기반 Chagas disease 이진 분류를 위해 임상 기반 handcrafted feature와 deep sequence representation을 결합한 hybrid model...

BirdCLEF 2024 — Audio Signal Classification via Mel-Spectrogram 오디오 신호를 time-frequency representation으로 바꾸고, existing pretrained model을 붙여 분류 파이프라인을 직접 만든 프로젝트다. 지금 돌아보면, 내가 signal을 representation...

A multimodal sleep foundation model for disease prediction(SleepFM) https://arxiv.org/abs/2510.21585