2025년 제53회 사이버헬퍼 보안 리포트 AI-Driven Intent Shadow Execution (AISE)

 

1. 연구 배경 및 문제 정의

기존 정보보안 연구는
행위(action)의 발생 여부와 그 정당성 검증을 중심으로 발전해왔다.
인증, 인가, 접근 통제, 로그 분석은 모두
“누가 어떤 행위를 수행했는가”라는 질문에 기반한다.

그러나 최근의 대규모 서비스 및 SaaS 환경에서는
의사결정 구조가 다음과 같이 변화하였다.

• 명시적 사용자 명령 이전에

• 시스템이 의도(intent) 를 추론하고

• 해당 의도를 전제로 자동 실행이 발생한다

즉, 현대 시스템은
행위 기반 시스템(Action-driven system) 에서
의도 기반 시스템(Intent-driven system) 으로 전환되고 있다.

본 리포트는 이러한 전환 과정에서 등장한
AI-Driven Intent Shadow Execution (AISE)
이라는 새로운 공격 개념을 정의하고,
기존 보안 모델이 이를 탐지·설명하지 못하는 구조적 한계를 분석한다.

---

2. Intent Shadow Execution의 개념 정의

AISE란
실제 명령 실행이나 사용자 행위 없이도,
시스템 내부의 의도 추론 및 결정 로직이
“해당 의도가 이미 성립한 것처럼 오판”하여
결과만이 실현되는 공격 유형을 의미한다.

이때 공격자는

• 명령을 위조하지 않으며

• 행위를 생성하지 않고

• 로그를 조작하지 않는다

대신 의도 형성 조건(Intent formation condition) 을 조작한다.

결과적으로 시스템은
외부 개입 없이도
스스로 합리적 판단에 따라 실행한 것처럼 보인다.

---

3. 기존 공격 모델과의 구조적 차이

AISE는 행위 부재(non-action) 상태에서
결과만 발생한다는 점에서
기존 침해 사고 분류 체계와 근본적으로 다르다.

---

4. AISE가 성립하는 시스템 조건

AISE는 다음 조건을 만족하는 환경에서 성립한다.

1. 의도 추론 로직 존재

   
   

   • 추천 시스템

   • 자동 승인 정책

   • 컨텍스트 기반 분기

2. 행위-결과 비직접 연결

   
   

   • 명시적 클릭 없이 결과 발생

   • 정책 충족 시 자동 실행

3. 결정 과정 로그 미기록

   
   

   • 실행 결과는 기록되나

   • “왜 이 결정이 내려졌는지”는 기록되지 않음

4. AI 기반 예측 모델 개입

   
   

   • 사용자 행동 예측

   • 선호도 기반 판단

이러한 구조는 보안 취약점이 아니라
설계 패러다임 자체의 특성에서 기인한다.

---

5. AISE 공격 메커니즘 (이론 모델)

Phase 1. Intent Surface Identification

공격자는 시스템 내
의도가 실행으로 전이되는 결정 경계(decision boundary) 를 식별한다.

Phase 2. Pre-Intent State Conditioning

AI 모델 입력값에 영향을 주는
행동 이력, 환경 변수, 확률 분포를 점진적으로 왜곡한다.

Phase 3. Shadow Intent Satisfaction

명령 없이
의도 성립 조건만을 충족시켜
시스템이 실행 결론에 도달하도록 유도한다.

Phase 4. Outcome Realization

실행은 발생하되
명령 이벤트는 존재하지 않는다.

Phase 5. Intent Drift Normalization

의도 분포를 정상 영역으로 복귀시켜
사후 분석 시 이상 징후를 최소화한다.

---

6. 탐지가 어려운 근본적 이유

AISE가 특히 위험한 이유는
다음과 같은 검증 공백(Verification Gap) 때문이다.

• 인증은 “누구인가”만 묻는다

• 인가는 “무엇을 요청했는가”만 본다

• 로그는 “무엇이 실행됐는가”만 기록한다

하지만 AISE에서는
“왜 이 결정이 내려졌는가” 라는 질문이
시스템적으로 기록되지 않는다.

즉, 보안 시스템이
아예 질문하지 않는 영역에서 공격이 발생한다.

---

7. 대응 방향: 연구 과제 제안

본 리포트는 AISE 대응을 위해
다음과 같은 연구 방향을 제안한다.

1. Intent Provenance Tracking
   의도의 형성 경로와 입력 요인을 구조적으로 기록

2. Decision Causality Graph
   결과가 아닌 결정 논리를 그래프로 모델링

3. Prediction–Execution Separation
   예측 결과가 실행으로 이어지기 전
   명시적 검증 계층 삽입

4. Human Intent Anchoring
   인간 개입이 없는 실행에 대한
   구조적 표시 및 제한

5. Intent Drift Longitudinal Analysis
   의도 분포의 장기적 편이 감시

---

8. 결론

AISE는 보안 실패가 아니라
시스템 설계 철학의 전환이 만든 새로운 공격면이다.

행위 기반 보안이 유효하던 시대는 끝났으며,
이제 보안은 다음 질문을 다뤄야 한다.

“이 결과에 도달한 결정 과정은
인간의 의도에서 비롯된 것인가?”

사이버헬퍼는
의도 형성, 결정 논리, 실행 결과를 통합 분석하는
Intent Integrity Framework를 연구 중이며,
AI 중심 시스템 시대의
차세대 보안 모델을 제시하고자 한다.