우홍욱 교수 연구실(CSI연구실), NeurIPS 2026 논문 게재 승인 (Oral 1편, Spotlight 1편, Poster 2편)
2026-10-08
우홍욱 교수 연구실(CSI연구실), NeurIPS 2026 논문 게재 승인 (Oral 1편, Spotlight 1편, Poster 2편) CSI연구실(지도교수: 우홍욱, https://csiagentgroup.com)의 연구결과가 인공지능 분야 주요 국제학회인 NeurIPS 2026(The Fortieth Annual Conference on Neural Information Processing Systems)에 총 4편의 논문(Oral 1편, Spotlight 1편 포함)으로 게재 승인(Accept)되었습니다. 논문은 2026년 12월 호주 시드니의 ICC Sydney에서 발표될 예정입니다. 1. [NeurIPS] 논문 “NeSyKC: Neurosymbolic Knowledge Compilation For Lifelong Learning Embodied Agents”는 소프트웨어학과 최원제(박사과정), 김주영(석사과정), 최세라(석박통합과정), 송영욱(석사과정) 연구원이 저자로 참여했습니다. (Spotlight; top 0.95%) 본 연구에서는 새로운 태스크가 지속적으로 주어지는 개방형 환경에서, 체화형 에이전트의 지속학습 프레임워크 Neurosymbolic Knowledge Compilation (NeSyKC)를 제안합니다. NeSyKC는 재사용 가능한 지식을 환경과의 상호작용을 설명하는 명시적 지식과 에이전트의 체화된 능력을 나타내는 절차적 지식의 두 가지 형태로 유지하며, 명시적 지식을 지속적으로 확장하면서 이를 절차적 지식으로 점진적으로 변환합니다. 구체적으로, 태스크 수행 과정에서 얻은 경험을 환경의 일반적인 규칙으로 추상화하고, 검증된 규칙으로부터 행동 절차를 도출하여 모델 추론에 적용 가능한 뉴럴 어댑터로 변환합니다. 이를 통해 에이전트는 경험이 쌓일수록 환경에 대한 지식을 확장하는 동시에, 이전에 학습한 내용을 보다 효율적으로 재사용할 수 있습니다. NeSyKC는 Neurosymbolic Generalization과 Neurosymbolic Proceduralization의 두 과정으로 구성됩니다. 먼저 Neurosymbolic Generalization은 에이전트가 태스크를 수행하며 얻은 경험을 언어 모델(LM)을 이용해 심볼릭 규칙으로 추상화하고, 심볼릭 도구를 통해 해당 규칙이 실제 경험과 일관되는지를 논리적으로 검증하여 심볼릭 규칙 집합을 지속적으로 확장하고 수정합니다. 이렇게 형성된 규칙 집합은 심볼릭 도구를 이용한 느리지만 검증 가능한 행동 계획 수립에 활용됩니다. 이어서 Neurosymbolic Proceduralization은 심볼릭 규칙 집합으로부터 실제 태스크 수행에 필요한 절차를 심볼릭 도구로 도출하고, 이를 LM 내부의 뉴럴 어댑터로 점진적으로 컴파일합니다. 이렇게 축적된 어댑터는 심볼릭 도구를 매번 호출하지 않고도 학습한 행동 절차를 빠르게 재사용할 수 있도록 합니다. 따라서 새로운 경험이 심볼릭 규칙을 개선하고, 개선된 규칙에서 도출된 행동 절차가 다시 모델 내부에 컴파일되는 과정이 반복되면서, 에이전트는 점차 심볼릭 도구 기반 추론 중심에서 효율적인 모델 추론으로 전환됩니다. 실험에서는 VirtualHome, ALFWorld, EB-Habitat, PDDLGym을 기반으로 구성한 네 가지 개방형 환경에서 NeSyKC의 지속학습 성능을 평가했습니다. NeSyKC는 태스크를 연속적으로 수행할수록 성능을 지속적으로 향상시켰으며, 학습에 사용되지 않은 미경험 태스크에서도 높은 일반화 성능을 보였습니다. knowledge compilation이 진행됨에 따라 경험한 태스크의 성공률은 20%에서 84%로, 미경험 태스크는 27%에서 77%로 증가한 반면, 평균 추론 시간은 각각 7.3초에서 0.5초, 7.9초에서 0.6초로 감소하여 지속학습이 진행되면서 성능과 추론 효율이 함께 향상되는 것을 확인했습니다. 또한 FR3와 UR7e를 이용한 실제 로봇 실험에서는 실행 과정에서 얻은 새로운 경험이나 다른 로봇의 시연을 통해 심볼릭 규칙을 수정하고, 이를 행동 절차로 컴파일하여 다양한 태스크 변형에 재사용할 수 있음을 검증했습니다. 2. [NeurIPS] 논문 “Skill-Adaptive Noise Scheduling for Diffusion Policies”는 소프트웨어학과 김우경(박사과정), 유광표(로보로스, 박사), 인공지능학과 박은영(석사과정) 연구원이 저자로 참여했습니다. 기존 Diffusion 정책은 모든 행동 차원에 같은 고정 노이즈 스케줄을 적용합니다. 그러나 접촉이 많은 Contact-Rich 조작과 다지 손을 사용한 Dexterous 조작에서는 접촉 제약과 힘의 평형이 행동 차원들을 강하게 결합하고, 그 결합 패턴은 스킬마다 다릅니다. 고정 스케줄은 이 차원 간 의존성을 활용하지 못해 느슨한 ELBO를 낳고, 그 결과 Denoising 스텝을 늘려도 넘을 수 없는 성능 상한이 생깁니다. 본 연구는 이를 해결하기 위해 Skill-Adaptive Noise Diffusion (SaND) 프레임워크를 제안합니다. SaND는 스킬 임베딩을 조건으로 행동 차원별 노이즈 스케줄을 학습하여, 스킬마다 예측이 쉬운 차원을 먼저 확정하고 접촉에 민감한 차원을 나중에 정제합니다. 학습된 스케줄이 스킬과 무관한 고정 스케줄로 붕괴하지 않도록, SaND는 스케줄 미분의 Legendre 계수로부터 스킬 임베딩을 복원하는 역 스케줄을 함께 학습합니다. 나아가 SaND는 Legendre 계수 공간에서 스킬을 군집화하고 군집별로 필요한 최소 Denoising 스텝 수를 정하는 적응형 Denoising을 통해, 추론 시 정밀한 접촉 스킬에는 더 많은 연산을, 단순한 이동 스킬에는 더 적은 연산을 배분합니다. 실험에서 SaND는 가장 강한 기준선인 SkillDiffuser보다 평균 성공률이 MimicGen 벤치마크에서 11.7%p, DexMimicGen 벤치마크에서 13.0%p 높았고, Bi-DexHands 벤치마크에서도 최고 누적 보상을 기록했습니다. 적응형 Denoising은 성능 저하 0.7%p 이내로 Denoising 스텝을 45.6–63.2% 줄였으며, 스케줄 학습 자체의 추가 비용은 FLOPs 0.31%에 불과했습니다. UR7e와 Robotiq 2F-85 그리퍼를 사용한 실로봇 실험에서도 SaND는 Diffusion Policy(DP)보다 평균 55%p 높은 성공률을 보였습니다. 3. [NeurIPS] 논문 “Reconfiguring Procedural Knowledge for Compositional Robot Skill Adaptation”에는 성균관대학교 소프트웨어학과 이대희(석박통합과정), 안상현(석박통합과정) 연구원과 미국 텍사스대학교 오스틴(UT Austin) 이동수(박사과정), 삼성전자 유민종 박사가 저자로 참여했습니다. 그림 1 제한된 작업 정보로 로봇 스킬을 재구성하는 RecPo 프레임워크의 개념도 본 연구에서는 로봇이 기존에 보유한 행동 기술(스킬)을 재조합하여 새로운 복합 작업에 적응하는 RecPo 프레임워크를 제안합니다. 기존 방법은 저장된 동작을 개별적으로 검색하거나 미리 구성된 연결 구조를 활용하므로, 목표와 일부 중간 상태만 주어지는 상황에서 적절한 실행 순서를 구성하는 데 한계가 있습니다. RecPo는 실행 기록에 담긴 상태 변화와 연결 관계를 활용하여 이러한 문제를 해결합니다. RecPo는 절차 지식베이스(Procedure Knowledge Base)와 작업 구체화(Task Materialization)의 두 부분으로 이루어져 있습니다. 절차 지식베이스는 스킬 실행 기록을 객체 상태 등 서로 다른 정보 요소에 주목하는 ‘절차 뷰’로 나누어 저장합니다. 작업 구체화 과정에서는 새로운 작업에 필요한 상태 변화를 같은 뷰로 해석하고, 저장된 기록의 전이 관계를 연결해 실행 가능한 스킬 시퀀스를 생성합니다. 확장된 Franka Kitchen 시뮬레이션에서 RecPo는 하위 작업을 제시된 순서대로 완료한 비율이 평균 91.3%로, 기존 스킬 검색 및 연결 방식보다 높은 성능을 보였습니다. 실제 Franka 로봇의 커피 따르기 실험에서도 절차 뷰와 실행 기록을 일부 갱신하여 작업별 재학습 없이 실행 절차를 조정할 수 있음을 확인했습니다. 이러한 결과는 기존 경험을 재사용하면서 변화하는 작업과 환경에 효율적으로 적응할 수 있음을 보여줍니다. 4. [NeurIPS] 논문 “HeMeR: Heterogeneous Memory Reconciliation for Embodied Agents via Structured KV Reuse”에는 성균관대학교 소프트웨어학과 천세헌(석박통합과정), 최원제(박사과정), 장진우(석박통합과정) 연구원과 인공지능학과 곽태윤(석사과정) 연구원이 저자로 참여했습니다. (Oral; top 0.36%) 기존 Memory-Augmented Embodied Agent는 Declarative, Procedural, Working Memory를 함께 활용하지만, 각 단계에서 메모리가 갱신되면 전체 Memory Context를 새로운 입력처럼 처리하는 경우가 많습니다. 이 때문에 대부분의 내용이 유지되어도 KV Cache를 다시 계산해야 하며, 반대로 기존 KV를 그대로 재사용하면 위치, 의존 관계, Adapter 변화로 인해 잘못된 상태를 사용할 수 있습니다. 따라서 장기 작업에서는 변경된 메모리와 재사용 가능한 메모리를 구분하는 것이 중요합니다. 본 연구는 이를 해결하기 위해 HeMeR (Heterogeneous Memory Reconciliation)를 제안합니다. HeMeR는 Memory Context를 Memory Type, Semantic Role, Dependency, KV Range, Adapter 정보를 포함하는 Memory Chunk로 구조화하고, 단계 사이의 삽입, 제거, 재배치를 추적해 변경된 KV Range만 다시 계산합니다. 위치만 바뀐 Chunk는 RoPE Remapping으로 재사용하며, Procedural Memory의 LoRA Adapter 변화도 KV 호환성 조건에 포함해 Adapter 전환 시에도 유효한 KV State를 유지합니다. 실험에서 HEMER는 ALFWorld에서 71.43% 성공률과 0.18초/step, Habitat에서 76.28%와 1.82초/step을 기록해 MemRL보다 높은 성능과 낮은 지연시간을 보였습니다. 실제 UR7e 로봇 환경에서도 83.20% 성공률과 1.87초/step으로 MemRL 대비 성공률을 18.92%p 높이고 지연시간을 2.94초에서 1.87초로 줄였습니다. 또한 50개 Memory Chunk에서 Full Rebuild의 TTFT가 148.59ms인 반면 HeMeR는 73.49ms로, 메모리 변화 상황에서도 높은 KV 재사용 효율을 유지했습니다. CSI연구실은 Embodied AI, Vision-Language-Action Model, Reinforcement Learning 기술을 활용하여 범용 인공지능 에이전트 연구와 로봇 지능 연구 등을 수행하고 있습니다. 우홍욱 | hwoo@skku.edu | CSI Lab | https://csiagentgroup.com
발전기금
