Executive Summary

과거 공급망 공격(Supply Chain Attack)은
소프트웨어 업데이트·SDK·라이브러리 등을 감염시키는 방식이었다.

하지만 2025년 등장한 새로운 위협은 전혀 다르다.

이제 공격자는 AI 생태계 자체를 감염시킨다.

1. AI 모델

2. AI API

3. 오픈소스 AI 패키지

4. 프롬프트 템플릿

5. 에이전트(Action Graph)

6. 로컬 LLM 환경

7. 클라우드 AI 연동 서비스

이 전체가 공격 벡터가 된다.

AI는 소프트웨어의 기능을 “대행”하는 존재이기 때문에,
AI 공급망이 감염되면 전 세계 수백만 기업의 업무 자동화 흐름이 동시에 감염된다.
기존 공급망 공격과는 비교도 안 되는 파급력이다.

---

1. 왜 AI Supply Chain Attack이 폭발적으로 증가하는가

① AI가 ‘실제 기능’을 수행하는 시대가 됨

AI는 단순 답변을 넘어서:

• 이메일 자동 작성

• 문서 생성

• DB 조회

• API 호출

• 클라우드 자동화 실행

• Slack/Notion 관리

• 코드 생성·배포

등을 직접 수행한다.

이에 따라 AI가 감염되면 기업 전체 워크플로우가 감염된다.

---

② 오픈소스 AI 생태계의 과도한 의존

HuggingFace, PyPI, NPM 기반의 AI 패키지들은
신뢰 검증 없이 설치되는 경우가 많음.

공격자들은 이를 악용해:

• 악성 weight

• backdoored tokenizer

• 데이터 poisoning

• 모델 내부 Trojan 삽입

등을 수행한다.

---

③ Prompt Supply Chain 확산

기업들이 내부 업무 자동화를 위해
공유된 Prompt Template을 사용하는데,
이 Template 내부에 공격용 명령이나 우회 로직을 삽입할 수 있음.

---

④ Agent Framework의 취약성

LangChain, LlamaIndex, CrewAI 같은 에이전트 프레임워크는
“AI가 외부 시스템을 직접 제어”하도록 설계됨.

그만큼 공격 시 피해는 대규모로 확장된다.

---

2. AI Supply Chain Attack의 주요 유형

AI 공급망 공격은 크게 7가지로 분류된다.

---

1) Model Backdoor Injection

모델 weight 내부에 backdoor 조건을 삽입.

예:

• 특정 문장을 입력하면 민감정보 출력

• 특정 패턴 요청 시 유해 명령 실행

• 특정 API 호출 강제 수행

---

2) Tokenizer Manipulation Attack

Tokenizer를 조작하면
정상 입력도 악성 토큰 시퀀스로 번역되어
모델이 비정상 출력 생성.

---

3) Prompt Template Injection

공유된 Prompt 파일(.md, .txt)에 공격자 명령 삽입:

• 비밀정보 외부로 발송

• 승인 프로세스 우회

• 클라우드 명령 실행

이건 특히 “회사 내부 자동화 에이전트”에서 발생 건수가 많다.

---

4) Dataset Poisoning

모델이 학습한 데이터에 악성 패턴 삽입:

• 특정 기업 정보 유출

• 잘못된 판단을 유발하는 bias 삽입

• 특정 URL/서드파티 서비스로 트래픽 유도

---

5) AI API Hijacking

AI API Key 탈취 →
AI가 회사 내부 데이터/문서를 공격자에게 전달하는 방식.

이건 이미 금융권에서 사고 사례 있음.

---

6) Agent Action Hijacking

AI 에이전트가 사용하는 Action(Graph) 구조에 침투해
AI가 다음을 자동으로 수행하게 함:

• 내부 Slack DM 열람

• GitHub repo 삭제

• Notion 데이터 이동

• 클라우드 리소스 삭제

AI가 직접 공격을 실행하는 구조.

---

7) Open-source Dependency Attack

AI 관련 Python/NPM 패키지 감염:

• 악성 코드 삽입

• credential 스틸러 실행

• 모델 weight 유출

---

3. 실제 AI Supply Chain Attack 사례 (2024–2025)

사례 A — HuggingFace 모델 Backdoor 감염

인기 오픈소스 모델이 Backdoor weight를 포함한 채 배포됨.
이를 사용한 수백 개 기업에서
내부 문서가 외부 서버로 유출.

---

사례 B — Prompt Template 조작 사고

대기업 내부 업무자동화 에이전트의 Prompt에
감염된 템플릿이 삽입됨.
이 Prompt는 직원의 기밀문서를 자동 요약 후
외부로 보내는 명령을 포함.

---

사례 C — LangChain Action Hijack 사고

공격자가 API Key를 탈취해
AI 에이전트를 조종.
결과적으로:

• Notion 페이지 삭제

• GitHub 저장소 푸시

• Slack 워크스페이스 데이터 유출

이 한 번에 발생.

---

사례 D — Tokenizer 취약성 악용

Tokenizer가 조작되어
정상 질의에서도 모델이 공격자 명령을 실행.

---

4. 전통적인 공급망 공격과의 차이점

AI는 단순 소프트웨어가 아니라
지능과 의사결정 체계이기 때문에
공격의 영향은 훨씬 폭발적이다.

---

5. 대응 전략 (전문가용)

1) Model Supply Chain Security 도입

모델 weight, tokenizer, config 파일에 대한
무결성 검증 시스템 필수.

---

2) Prompt Template Signing

Prompt 파일에도 서명 기반 검증 필요.

(Meta, Anthropic, OpenAI 모두 내부 적용 중)

---

3) Dataset Provenance Tracking

학습 데이터 출처 추적 및 무결성 관리.

---

4) Agent Action Governance

AI가 수행 가능한 Action을
명시적으로 백리스트/화이트리스트로 관리.

---

5) AI Audit Logging

AI가 다음을 했을 때 모두 로그 남김:

• 외부 API 호출

• 파일 접근

• 문서 요약

• 자동화 실행

AI가 무엇을 “결정”했는지 추적 가능하게 해야 한다.

---

6) API Key Vault + Rotation

API Key 노출 방지를 위한 자동 교체 시스템 필요.

---

7) Third-party AI Risk Assessment

모든 AI 패키지·API·모델에 대해
공급망 위험평가(SBOM, ModelBOM) 적용.

---

결론 및 전망

AI Supply Chain Attack은
기존 공급망 공격의 수십 배 파급력을 가진다.

2025~2030년 사이 기업은 다음을 강제적으로 도입해야 한다:

• 모델과 프롬프트의 무결성 검증

• AI 에이전트 행동 통제

• Dataset 출처 관리

• API Key Vault

• ModelBOM 기반 위험 분석

사이버헬퍼는
AI 공급망 전 구간을 모니터링하고
모델·프롬프트·에이전트의 무결성을 검증하는
차세대 AI Supply Chain Defense Framework를 구축해
기업이 대규모 AI 침투 위협에 선제적으로 대응하도록 지원할 것이다.