발전기금
[연구] [구형준 교수] SecAI 연구실, Annual Computer Security Applications Conference 2025 (ACSAC ’25) 논문 게재 승인
- 소프트웨어학과
- 조회수2658
- 2025-10-14
SecAI 연구실 (지도교수 구형준, https://secai.skku.edu) 김민석 학생 (석사과정)의 "Rescuing the Unpoisoned: Efficient Defense against Knowledge Corruption Attacks on RAG Systems" 논문이 보안분야 우수학회인 Annual Computer Security Applications Conference (ACSAC) (ACSAC ’25)에 게재 승인되어 2025년 12월에 발표할 예정입니다.
검색증강생성 (Retrieval-Augmented Generation, RAG) 기술은 대규모 언어 모델의 한계인 환각 현상과 최신 정보 부족 문제를 해결하기 위해 외부 지식베이스를 활용하는 기술로 주목받고 있습니다. 하지만 최근 연구들은 악의적인 공격자가 위키피디아와 같은 공개 지식 소스에 오염된 정보를 주입하여 RAG 시스템이 잘못된 답변을 생성하도록 유도할 수 있음을 보여주었습니다. 기존 방어 기법들은 효과적이지만 각 문서를 개별 검증하거나 별도 모델 학습이 필요해 상당한 계산 비용이 발생하는 한계가 있었습니다.
본 연구에서는 추가적인 언어 모델 추론이나 모델 재학습 없이도 악성 콘텐츠를 효과적으로 탐지하는 RAGDefender를 제안합니다. 핵심 기술은 검색된 문서들 간의 의미적 유사도와 TF-IDF 기반 어휘 패턴을 활용한 2단계 필터링 메커니즘으로, 첫 번째 단계에서는 계층적 클러스터링(single-hop QA) 또는 집중도 분석(multi-hop QA)을 통해 잠재적 악성 문서 수를 추정하고, 두 번째 단계에서는 코사인 유사도 기반 쌍별 순위화와 빈도 점수를 계산하여 악성 문서를 정밀 식별합니다. NQ, HotpotQA, MS MARCO 데이터셋에서 3가지 공격 기법과 6가지 언어 모델(LLaMA, Vicuna, GPT-4o, Gemini)을 대상으로 실험한 결과, 악성 문서가 정상 문서보다 4배 많은 상황에서도 공격 성공률을 0.89에서 0.02로 감소시키며 답변 정확도는 0.21에서 0.73으로 향상시켰습니다. 특히 기존 기법 대비 12.36배 빠른 처리 속도를 달성하면서도 GPU 메모리를 전혀 사용하지 않아, 다양한 RAG 프레임워크와 여러 검색 모델에 즉시 통합 가능한 실용적 방어 솔루션임을 입증했습니다.
Abstract: Large language models (LLMs) are reshaping numerous facets of our daily lives, leading to widespread adoption as web-based services. Despite their versatility, LLMs face notable challenges, such as generating hallucinated content and lacking access to up-to-date information. Lately, to address such limitations, Retrieval-Augmented Generation (RAG) has emerged as a promising direction by generating responses grounded in external knowledge sources. A typical RAG system consists of i) a retriever that probes a group of relevant passages from a knowledge base and ii) a generator that formulates a response based on the retrieved content. However, as with other AI systems, recent studies demonstrate the vulnerability of RAG, such as knowledge corruption attacks by injecting misleading information. In response, several defense strategies have been proposed, including having LLMs inspect the retrieved passages individually or fine-tuning robust retrievers. While effective, such approaches often come with substantial computational costs. In this work, we introduce RAGDEFENDER, a resource-efficient defense mechanism against knowledge corruption (i.e., by data poisoning) attacks in practical RAG deployments. RAGDEFENDER operates during the post-retrieval phase, leveraging lightweight machine learning techniques to detect and filter out adversarial content without requiring additional model training or inference. Our empirical evaluations show that RAGDEFENDER consistently outperforms existing state-of-the-art defenses across multiple models and adversarial scenarios: e.g., RAGDEFENDER reduces the attack success rate (ASR) against the Gemini model from 0.89 to as low as 0.02, compared to 0.69 for RobustRAG and 0.24 for Discern-and-Answer when adversarial passages outnumber legitimate ones by a factor of four (4x).