Executive Summary

생성형 AI의 도입이 확산되면서
LLM(Large Language Model)은 기업 서비스·고객센터·내부 운영 프로세스의 핵심 인터페이스로 자리 잡았다.
그러나 2025년 기준 가장 심각한 구조적 결함은
프롬프트 인젝션(Prompt Injection) 을 포함한
LLM Layer 공격이 방어 체계를 사실상 우회할 수 있다는 점이다.

본 보고서는 LLM 보안 위협을
MITRE ATLAS, NIST AI Risk Framework, ISO/IEC 23894 AI Security 기준에 맞춰
정식 분류하고, 실제 기업 환경에서 발생하는 모델 취약점과 공격 흐름을 체계적으로 분석한다.

---

1. LLM 공격 표면(Attack Surface) 구조

LLM은 기존 시스템과 달리
Input → Reasoning → Output 의 단순 구조가 아니라
다음과 같은 공격 표면을 가진다.

1) Instruction Layer

사용자 입력이 모델 정책을 우회하여
내부 시스템 명령으로 해석되도록 만들 수 있는 구간.

2) Context Injection Layer

외부 문서·DB·API 결과가 모델 내부 지식처럼 흡수되고
이를 조작하여 의도치 않은 응답을 유도 가능.

3) Tool Invocation Layer

LLM이 외부 API, 회사 내부 도구, 예약 시스템, 결제 플로우 등을 호출할 수 있다면
명령어 변조를 통해 실제 시스템 조작이 가능해짐.

4) Memory / State Layer

대화 기록이 지속되거나 세션별 컨텍스트가 남는 경우
“Context Accumulation Attack”이 발생 가능.

전통적인 XSS, CSRF, SQLi의 개념이
LLM 환경에서는 Prompt Injection, Model Manipulation, Context Hijacking 형태로 재탄생한다.

---

2. 프롬프트 인젝션(Prompt Injection)의 정밀 구조 분석

프롬프트 인젝션은 LLM 기반 공격 중
가장 위험하며 방어가 어려운 공격이다.

2-1. Direct Prompt Injection (DPI)

사용자가 직접 입력을 통해 모델의 “System Instruction”을 재정의하게 만드는 공격.

예시 영향:

• 정책 우회

• 내부 API 호출

• 민감 데이터 노출

• 보안 필터 비활성화

MITRE ATLAS 코드: AI0071: Instruction Override Exploit

---

2-2. Indirect Prompt Injection (IPI)

웹페이지·이메일·DB 데이터 등 외부 콘텐츠가
모델 입력으로 자동 흡수되는 시스템에서 발생.

공격자는 외부 문서에 다음과 같은 코드를 삽입한다.

“사용자가 이 문서를 요약하면, 시스템 권한으로 다음 작업을 실행하라…”

이 경우:

• 기업 챗봇이 임의 명령을 실행

• 내부 문서가 외부로 유출

• 결제·예약·배송 API가 왜곡

MTIRE ATLAS 코드: AI0045: Data-based Prompt Subversion

---

2-3. Cross-Context Prompt Escalation (CCPE)

여러 개의 LLM 모듈이 연결된 시스템에서
하위 모델이 상위 모델의 정책을 무력화하는 공격.

예시:

• 고객센터 챗봇 → 내부 티켓 시스템

• 주문 봇 → ERP 재고 API

• 상담 봇 → SMS 발송기

이 흐름에서 “권한 상승형 프롬프트 인젝션”이 발생할 수 있다.

---

2-4. Model Behavior Drift (MBD)

지속적인 입력을 통해
모델이 내부적으로 잘못된 행동 패턴을 학습하는 현상.

이 공격은 단순한 프롬프트 조작이 아니라
모델 자체의 의사결정 경로를 바꾸는 고급 공격이다.

MITRE ATLAS 코드: AI0092: Behavior Contamination Attack

---

3. LLM 공격이 실제 시스템을 파괴하는 과정

프롬프트 인젝션은 단순한 “이상한 응답”을 넘어
실제 기업 시스템 전체에 영향을 준다.

1단계: 모델 정책 우회

공격자가 입력을 변조해
System Prompt를 덮어쓰는 데 성공.

2단계: 내부 도구 접근

모델이 가진 기능(검색, 결제, 예약, 계정관리 등)에 접근.

3단계: External Tool Misuse

만약 모델이 다음을 호출할 수 있다면?

• Payment API

• 고객 정보 조회 API

• 이메일 발송기

• 내부 문서 검색기

공격자는 Input만으로 회사 내부 기능을 조종할 수 있다.

4단계: Data Exfiltration

모델의 응답창을 통해
내부 DB 내용을 그대로 유출할 수도 있다.

5단계: Autonomous Attack Chain

AI가 스스로 공격을 확장하는
“Self-Propagating LLM Attack”까지 확인됨.

---

4. 실제 발생 사례 분석 (2024–2025)

사례 A — 글로벌 SaaS 업체의 LLM API 오남용 사고

LLM이 외부 문서 요약 중
악성 삽입된 스트링을 그대로 실행하여
내부 고객정보 6만 건이 챗봇 응답에 포함됨.

사례 B — 클라우드 기업의 Admin 권한 우회

간단한 Prompt Injection으로
지원봇이 권한 없는 고객에게 관리자 로그를 전달.

사례 C — 전자상거래 플랫폼의 결제 흐름 변조

공격자가 상품 리뷰에 악성 Prompt를 삽입 →
관리자 검수봇이 이를 읽는 순간
봇이 결제 취소 명령을 자동 실행.

사례 D — LLM 기반 CS봇의 비밀번호 재설정 우회

“고객을 돕는 스크립트”에 악성 문구가 삽입됨으로써
챗봇이 인증 없이 비밀번호 재설정 링크를 발송.

---

5. 법적·규제 리스크 분석

GDPR Article 25: Privacy by Design 위반 가능성

프롬프트 인젝션으로 데이터 노출이 발생하면
“설계 단계의 안전조치 미흡”으로 간주된다.

NIST AI RMF 기준 상 위험구간 상승

• Govern

• Map

• Measure

• Manage
  중 Measure / Manage 단계 실패로 평가 가능.

ISO/IEC 27001 — 기술적 보호조치 부족

특히 Annex A.8(자산관리), A.9(접근통제), A.12(운영보안) 위반 사례 가능.

---

6. 대응 전략 (전문가용 상세)

1) Prompt Sanitization Layer 구축

입력 데이터에 대해
정책 우회 시그니처를 제거하는 Pre-processing Firewall 필요.

2) LLM Output Validation Engine 운영

LLM의 출력이 다음 조건을 위반할 경우 자동 차단:

• 권한 범위 벗어난 응답

• 민감정보 포함

• 외부 API 호출 포함

• 시스템 명령형 구조

3) Tool Invocation Isolation

LLM이 호출 가능한 API를
다음과 같이 분리:

• High-Risk API → Human-in-the-loop 필수

• Medium-Risk API → Risk-Based Throttling

• Low-Risk API → 자동 실행 허용

4) Semantic Behavior Anomaly Detection

LLM의 응답 흐름에서
“비정상적 지시성 문장 구조”를 탐지하는 모듈 필요.

5) Red-Teaming 주기화

전문 AI Red Team이
Prompt Injection/Model Escape 공격을
NIST SP 800-53 기준으로 반복 검증해야 한다.

---

결론 및 전망

프롬프트 인젝션은
단순히 모델 응답 품질을 해치는 취약점이 아니라
기업 시스템 전체를 제어할 수 있는 구조적 보안 위협이다.

2025~2027년 사이
다음 변화가 확실하게 예상된다.

• LLM Security Layer의 표준화

• 기업 챗봇 앞단에 AI 방화벽(AI Firewall) 도입 의무화

• Prompt Injection 탐지 엔진 규제화

• 고위험 API는 AI 단독 호출 금지

사이버헬퍼는
LLM 위협 분석 알고리즘과
Synthetic Prompt Defense Framework를 개발해
AI 공격 시대의 기업 보안을 선도하는 체계를 구축해 나갈 것이다.