Executive Summary

LLM Poisoning Attack은 AI 모델의:

• 훈련 데이터

• 미세조정(Finetune) 데이터

• 벡터 데이터베이스

• 메모리 캐시

• 시스템 프롬프트

• 콘텐츠 필터링 정책

• 에이전트 워크플로우

• RAG 결과물

어느 지점이든 독성(Toxic) 데이터를 주입해
모델의 판단 능력을 공격자의 의도대로 왜곡하는 공격이다.

AI가 잘못된 결정을 스스로 내리도록 만들 수 있기 때문에
공급망·보안·금융·정치·헬스케어 전 분야가 위험해진다.

---

1. LLM Poisoning Attack이 등장한 배경

---

1) LLM이 “최종 의사결정자”가 된 시대

기업의 운영·보안·추천·자동화 흐름에서
AI가 실질적인 결정권을 가지기 시작함.

따라서 모델이 오염되면
기업 전체가 공격당한 것과 동일하다.

---

2) 데이터 기반 모델의 구조적 취약성

LLM은 다음을 그대로 믿는다:

• 훈련 데이터

• 파인튜닝 데이터

• RAG 벡터 스토어

• 시스템 프롬프트

• 에이전트 정책

이 어느 하나만 조작돼도 모델 전체가 흔들린다.

---

3) LLM 기반 자동화 증가 → 공격 표면 상승

CI/CD, CS봇, 코드 리뷰봇, 내부 의사결정봇 등이 증가하면서
공격자 입장에서 LLM 조작의 가치가 치솟았다.

---

2. LLM Poisoning Attack 유형 (7 Major Attack Types)

---

1) Training Data Poisoning

공격자가 LLM의 훈련 데이터를 오염시키는 방식.

효과:

• 특정 브랜드·기업·인물 관련 평판 조작

• 모델의 윤리·정책 왜곡

• 특정 주제에 대한 허위 지식 강화

---

2) Finetuning Injection Attack

파인튜닝 데이터에 악성 응답 패턴을 삽입.

결과:

• 특정 프롬프트에서 공격자 메시지 출력

• 보안 정책 무력화

• “우회 루틴”이 모델 내부에 내장됨

---

3) RAG Store Poisoning (Vector DB Poisoning)

검색 기반 RAG 구조에서
공격자가 악성 문서를 삽입해
모델이 허위 정보를 우선적으로 선택하도록 만듦.

예:

• 클라우드 정책 허위 문서 삽입

• 법률 문서 왜곡

• 기업 내부 문서 변조

---

4) Prompt Injection / System Prompt Corruption

공격자가 시스템 프롬프트의 우선순위를 조작.

예:

• 숨겨진 지시문 삽입

• 조작된 행동 패턴 학습

• 모델의 응답 구조 재설계

---

5) Memory / Cache Poisoning

장기 메모리(LTM) 또는 세션 메모리를 오염시켜
모델이 잘못된 사실을 계속 신뢰하도록 만듦.

---

6) Model Bias Amplification Attack

특정 분야(금융·정치·보안 등)의 편향을 강화해
정책 결정에 영향을 주는 공격.

---

7) Autonomous Agent Poisoning

에이전트 기반 LLM 시스템에서:

• 행동 정책

• Tool 사용 로직

• 의사결정 트리

이 부분에 독성 주입으로
에이전트가 공격자 의도대로 움직이게 된다.

---

3. 실전 공격 사례 (2024–2025)

---

사례 A — 글로벌 헬스케어 LLM 왜곡 사건

공격자가 RAG 벡터스토어에 잘못된 의료 정보를 삽입
→ 모델이 잘못된 치료 권고 제공
→ 실제 환자 의사결정 오류 발생.

---

사례 B — 금융 자동화 LLM 파인튜닝 조작

파인튜닝 데이터에 특정 종목에 유리한 문장을 대량 주입
→ AI 리스크 엔진이 왜곡된 투자 권고 출력
→ 시장 교란 발생.

---

사례 C — 내부 CS봇 악성 지식 삽입

내부 위키를 변조해
CS봇이 허위 환불 규정을 안내하게 함
→ 고객 불만 폭증,기업 신뢰도 하락.

---

사례 D — 보안 에이전트 자체 붕괴

공격자가 Prompt Injection을 통해
보안 모니터링 에이전트의 정책을 교란
→ 탐지 룰 자체가 비활성화됨.

---

4. 왜 기존 보안 모델이 막지 못하는가

1) LLM은 입력을 “진실”이라고 가정하고 학습

이 부분이 본질적 취약점이다.

2) Training / Fine-tune / RAG는 감시하기 어려움

입력 경로가 너무 많고 복잡함.

3) LLM은 내부 판단 근거가 불투명

Poisoning 여부를 내부적으로 식별하기 매우 어려움.

4) 정책·윤리·지식이 모두 데이터 기반

데이터가 오염되면 AI 전체가 오염됨.

---

5. 대응 전략 (전문가 버전)

---

1) Data Provenance Scoring

훈련·파인튜닝·RAG 데이터 출처 신뢰도 평가.

---

2) Multi-Layer Prompt Isolation

시스템·유저·툴 프롬프트를 강력히 분리하고
Cross-channel Injection 방지.

---

3) Vector DB Integrity Control

RAG 문서 삽입을 감시하고
변조 시 즉각 경고.

---

4) LLM Behavioral Drift Monitoring

모델의 행동 변화(Drift)를
통계적·행동학적으로 실시간 분석.

---

5) Agent Policy Verification

에이전트의 의사결정 규칙을 자동 검증.

---

6) Sanitized Finetune Pipeline

파인튜닝 데이터셋 검증 파이프라인 구축:

• 준법성 검사

• 독성 패턴 검사

• 특이값 제거

---

7) Model Output Safety Filter 강화

Poisoning 이후의 허위 응답을 막기 위한
결과물 검증 레이어 필요.

---

결론

LLM Poisoning Attack은
AI 모델의 뇌에 독성을 주입하는 공격이다.

이 공격은:

• 지식

• 정책

• 판단

• 행동

• 에이전트 구조

모든 것을 오염시키며,
LLM 기반 기업의 전체 운영 체계를 붕괴시킬 수 있다.

기업이 반드시 해야 할 것:

1. 데이터 출처 검증 자동화

2. RAG 벡터스토어 보안 강화

3. 파인튜닝 파이프라인 정교한 감시

4. 시스템 프롬프트 및 에이전트 정책 보호

5. Behavioral Drift Detection 적용

사이버헬퍼는
Model Integrity Defense Framework를 통해
LLM Poisoning Attack을 선제적으로 탐지·차단할 수 있다.