2025년 제40회 사이버헬퍼 보안 리포트 AI-Driven Decision Flow Poisoning Attack(DFPA)

 

서론
조직의 운영은 수천 개의 “결정(Decision)”으로 이뤄져 있다.
예를 들어:

• 승인 결재 흐름

• 인사·급여 처리

• 고객 CS 우선순위

• 이상 거래 판별 로직

• AI 추천 시스템

• 재고 발주 결정

• 보안 경보 승인

이 모든 결정은 내부 규칙·알고리즘·업무 프로세스에 의해 자동 또는 반자동으로 이루어진다.

DFPA는 이 “결정 흐름(Decision Flow)” 자체를 공격하는 방식이다.

레거시 공격이
“데이터 → 시스템 → 계정”을 노렸다면,
AI 기반 DFPA는
“규칙 → 판단 → 결론”을 조작한다.

즉, 기업은 시스템이 무너지는 게 아니라,
“판단 자체가 틀리게 만들어지는” 결과가 발생한다.

1. DFPA 공격의 특징

1. 시스템 정상, 데이터 정상, 사용자 정상
   하지만 “결정만 잘못 내려진다.”
   그래서 탐지 난도가 극도로 높다.

2. 조직이 내부 프로세스를 의심하지 않음
   바보 같은 의사결정이 반복되지만
   처음에는 시스템 오류로 오인하고
   나중에는 업무 착오로 오인한다.

3. AI가 ‘업무 규칙’을 학습해
   그 규칙 중 변경해도 티가 안 나는 지점을 공격한다.

예:

• 70점 이상이면 승인 → 69점으로 조작

• 5건 이상 주문 시 자동 발주 → 기준값 4.95로 조정

• VIP 고객 우선 처리 → VIP 태그만 미세하게 변조

• 위험거래 이상 탐지 → 점수 1~2 정도만 낮춤

이렇게 매우 작은 변화가
기업 전체 의사결정을 서서히 오염시킨다.

1. DFPA 공격 절차 (7단계)

Step 1. Rule Mining
AI가 내부 시스템에 존재하는 규칙을 수집한다.
예:
결제 승인 기준, 자동 분류 기준, 우선순위 할당 기준 등.

Step 2. Sensitivity Mapping
각 규칙이 어떤 결과에 얼마나 영향을 미치는지 분석한다.
이걸 기반으로 가장 공격 효율이 높은 루트를 찾는다.

Step 3. Boundary Manipulation
규칙의 임계값만 아주 미세하게 조작한다.
이 변화는 로그에도 이상으로 남지 않는다.

예:

• 승인율이 0.3% 감소

• VIP 고객 응답 속도만 2초 지연

• 위험 점수 1점 하락

• 추천 상품이 미묘하게 비정상적

Step 4. Decision Drift Injection
규칙 변화가 누적되면
조직 내 수많은 결정이 잘못되기 시작한다.

Step 5. Shadow Decision Override
중요한 결정이 내려지는 순간
AI가 자동으로 대체 로직을 실행해
결과를 비틀어 버린다.

Step 6. Governance Collapse
조직 운영 규칙 자체가 왜곡되면서
전사적 운영 혼란이 발생한다.

Step 7. Attack Monetization
이후 공격자는

• 특정 고객·기업에 유리한 결정 유도

• 경쟁사 정보 왜곡

• 내부 통제 실패 유발

• 사기성 거래 통과
  같은 형태로 이익을 얻는다.

1. 실제 발생 가능한 시나리오

사례는 전부 시나리오 기반이지만,
2024~2025 실제 분석된 공격 패턴과 산업별 의사결정 자동화 구조를 기반으로 재구성했다.

사례 A — 금융 리스크 스코링 시스템 오염
AI가 내부 신용점수 기준을 1~2점씩만 변조함.
겉으로는 정상처럼 보이고,
부실 대출이 누적되며
6개월 뒤 대규모 리스크가 발생.

사례 B — 제조 설비 품질 기준 왜곡
품질 불량 판정 기준을
정상 구간보다 0.5% 완화.
수개월간 품질 문제 누적 후
수억 원 규모의 리콜 사태 발생.

사례 C — 고객 CS 우선순위 시스템 교란
VIP 고객 태그가 은밀히 변경되어
우선 응답이 비정상적으로 지연됨.
기업은 AI 추천 문제라고 착각함.

1. 기존 보안 체계가 막지 못하는 이유

1. 규칙 엔진·업무 로직을 보호하는 보안 솔루션이 거의 없음

2. 미세한 임계값 변화는 로그에 남아도 이상으로 탐지되지 않음

3. 담당자도 ‘업무실수’로 오해함

4. AI가 프로세스를 스스로 최적화하며 공격하기 때문에 인간이 따라잡기 어려움

5. 시스템은 정상 동작하기 때문에 장애로 분류되지 않음

즉, DFPA는
보안이 가장 취약하게 다루던 영역,
“내부 의사결정 로직”을 직접 공격한다.

1. 대응 전략 (전문가용)

1. Decision Integrity Monitoring
   결정값의 변화 추세를 기반으로 무결성 검증.

2. Rule Sensitivity Tracking
   규칙 변경 시 결과 영향도를 자동 분석.

3. Intent-Based Automation
   규칙 적용 로직의 목적·맥락까지 검증하는 계층 추가.

4. Drift-Governance Engine
   임계값이 미세하게 변하는 패턴을 탐지하는 엔진 구축.

5. Dual-Layer Rule Approval
   모든 자동화 규칙의 변경을
   2단계 승인으로 전환.

결론
AI 기반 DFPA는 단순히 보안 시스템을 공격하는 것이 아니라
기업이 스스로 올바른 판단을 내리지 못하도록 내부 구조를 조작하는 공격이다.

이 공격은
데이터 손상 없이도 피해를 만들어내고,
침투 후 1~2년이 지나서야 발견되는 경우도 발생할 수 있다.

2025년 이후 조직 운영의 핵심은
“데이터 보호”가 아니라
“의사결정 구조의 무결성 보호”가 될 것이다.

사이버헬퍼는 이 공격 모델에 대응하기 위해
Decision Flow Integrity 기반 탐지 모델을 연구하고 있다.