AAI 연구실의 (지도교수: 김광수) 논문이 인공지능 분야 우수학회인 ICML (International Conference on Machine Learning) 2025에 게재 승인되었습니다.

첫번째 논문 " One-Step Generalization Ratio Guided Optimization for Domain Generalization"은 조수민(석사과정), 김동원(석사과정)이 저자로 참여했습니다. 본 논문은 Spotlight Poster로 선정되었으며, 전체 게재 논문 중 1% 이내인 Oral 발표 논문으로도 선정되었습니다.

본 논문은 도메인 일반화(Domain Generalization, DG) 문제를 해결하기 위한 새로운 최적화 기법인 GENIE(Generalization-ENhancing Iterative Equalizer)를 제안한다. 기존 DG 방법들은 특정 도메인에 과적합되는 spurious correlation(허위 상관관계)을 강화할 위험이 있으며, 특히 파라미터 간 불균형한 업데이트가 일반화 성능을 저해하는 문제를 간과해왔다. 이에 본 연구는 각 파라미터가 일반화에 기여하는 정도를 수치화하는 지표인 OSGR (One-Step Generalization Ratio)를 기반으로, 파라미터별 업데이트 균형을 유도하는 새로운 사전조건(preconditioning) 기반 최적화를 도입했다. GENIE는 OSGR을 실시간으로 측정하고, 이에 따라 각 파라미터에 동적으로 사전조건 계수를 할당 하여, 소수의 파라미터가 과도하게 학습을 주도하지 않도록 한다. 추가적으로, 노이즈 주입과 랜덤 마스킹을 통해 학습의 안정성과 탐색성을 보장하고 과적합을 방지한다.

기여 내용 요약

1. GENIE Optimizer 제안

- OSGR 기반 프리컨디셔닝(preconditioning)을 도입하여, 소수의 파라미터가 과도하게 업데이트를 주도하는 현상을 방지하고, 모든 파라미터가 균형 있게 일반화에 기여하도록 유도함.

2. 이론적 정당성 확보

- OSGR 기반 분석을 통해, GENIE가 파라미터 간 일반화 기여도를 균형 있게 조정함을 이론적으로 증명.

- PAC-Bayes 분석을 통해 GENIE의 프리컨디셔닝이 일반화 경계(generalization bound)를 더 타이트하게 만들 수 있음을 이론적으로 증명.

- 기존 최적화 알고리즘들과 비교하여, GENIE가 더 높은 OSGR을 달성하며 일반화 성능을 수학적으로 우위에 둠을 증명.

- 비볼록(non-convex) 환경에서도 SGD와 동일한 수렴률을 유지함을 증명.

3. 우수한 실험 결과

- 5개 DG 데이터셋(PACS, VLCS, OfficeHome, TerraIncognita, DomainNet)에서 기존 최적화 기법 대비 평균 2~6% 정확도 향상.

- 기존 DG 알고리즘에 최적화기로 사용하였을 시 성능 향상 확인.

- Single-Domain Generalization(SDG) 환경에서도 우수한 성능 발휘.

- 다양한 분석 실험을 통해 효과성 입증.

Abstract 

Domain Generalization (DG) aims to train models that generalize to unseen target domains but often overfit to domain-specific features, known as undesired correlations. Gradient-based DG methods typically guide gradients in a dominant direction but often inadvertently reinforce spurious correlations. Recent work has employed dropout to regularize overconfident parameters but has not explicitly adjusted gradient alignment or ensured balanced parameter updates. We propose GENIE (Generalization-ENhancing Iterative Equalizer), a novel optimizer that leverages the One-Step Generalization Ratio (OSGR) to quantify each parameter’s contribution to loss reduction and assess gradient alignment. By dynamically equalizing OSGR via a preconditioning factor, GENIE prevents a small subset of parameters from dominating optimization, thereby promoting domain-
invariant feature learning. Theoretically, GENIE balances convergence contribution and gradient alignment among parameters, achieving higher OSGR while retaining SGD’s convergence rate. Empirically, it outperforms existing optimizers and enhances performance when integrated with various DG and single-DG methods.

두번째 논문 " Federated Learning for Feature Generalization with Convex Constraints"는 김동원(석사과정), 김동희(박사과정) 신성국(박사과정)이 저자로 참여했습니다. 본 논문은 Poster 발표 논문으로 선정되었습니다.

연합학습에서 클라이언트 간 데이터 이질성으로 인한 일반화 성능 저하는 자주 발생하는 문제다. 로컬 모델은 각자의 데이터 분포에 과적합되기 쉽고, 로컬 모델이 이미 획득한 일반화 가능한 특징조차 집계 과정에서 왜곡될 수 있다. 이러한 문제를 해결하기 위해 우리는 FedCONT를 제안한다. 이 방법은 글로벌 모델의 파라미터 강도에 따라 업데이트 크기를 적응적으로 조절하므로써, 충분히 학습된 파라미터를 지나치게 강조하는 것을 방지하고, 학습이 부족한 파라미터를 강화한다. 구체적으로, FedCONST는 선형 볼록 제약(linear convex constraints)를 활용하여 학습 안정성을 확보하고, 집계과정에서 로컬 모델이 획득한 일반화 능력을 유지하도록 한다. 또한 Gradient Signal-to-Noise Ratio(GSNR) 분석을 통해 FedCONST가 특징값의 전이력과 강건성을 효과적으로 향상시키는 방법임을 입증한다. 그 결과, FedCONST는 로컬과 글로벌 모델의 최적값을 효과적으로 정렬하여 과적합을 완화하고, 다양한 FL 환경 전반에서 더 강한 일반화 성능을 달성하여 SOTA(state-of-the-art) 수준의 성능을 기록한다.

기여 내용 요약

1. FedCONST 방법 제안

연합 학습에서 클라이언트와 서버 모델의 일반화 성능을 동시에 향상시키기 위해, 글로벌 파라미터의 크기(magnitude)에 기반한 convex constraint를 도입함. 이를 통해 과도하게 학습된 파라미터는 억제하고, 덜 학습된 파라미터는 강화함으로써 균형 잡힌 학습을 유도함.

2. 이론적 정당성 확보

Gradient Signal-to-Noise Ratio (GSNR) 분석을 통해 각 파라미터의 일반화 기여도를 정량화하고, 제안한 convex constraint가 이러한 기여를 균형 있게 향상시킴을 수학적으로 증명함.

3. 우수한 실험 성능

다양한 연합 학습 환경에서 FedAvg, FedProx, FedDyn 등 기존 방법 대비 전반적인 정확도 및 일반화 성능에서 우수한 결과를 보임.

4. 높은 확장성 및 호환성

제안된 방법은 모델 구조나 기존 알고리즘에 종속되지 않으며, 다양한 연합 학습 최적화 기법과 쉽게 결합되어 성능을 향상시킬 수 있음.

Abstract

Federated learning (FL) often struggles with generalization due to heterogeneous client data. Local models are prone to overfitting their local data distributions, and even transferable features can be distorted during aggregation. To address these challenges, we propose FedCONST, an approach that adaptively modulates update magnitudes based on the global model’s parameter strength. This prevents over-emphasizing well-learned parameters while reinforcing underdeveloped ones. Specifically, FedCONST employs linear convex constraints to ensure training stability and preserve locally learned generalization capabilities during aggregation. A Gradient Signal-to-Noise Ratio (GSNR) analysis further validates FedCONST's effectiveness in enhancing feature transferability and robustness. As a result, FedCONST effectively aligns local and global objectives, mitigating overfitting and promoting stronger generalization across diverse FL environments, achieving state-of-the-art performance.