AI가 바꾸는 사이버 공격의 미래 — 공격자도 AI를 쓴다

LLM 기반 피싱 자동화, AI 생성 악성코드, 딥페이크 사회공학 공격까지. 공격자의 AI 활용이 빠르게 고도화되는 지금, 방어자는 무엇을 준비해야 하는가.

2023년 ChatGPT 등장 이후 AI는 보안의 양날의 검이 됐다. 방어자가 AI를 활용해 이상탐지·자동 대응을 고도화하는 동시에, 공격자들도 LLM을 적극 도입해 공격의 규모와 정교함을 끌어올리고 있다.

1. AI 기반 피싱의 진화

기존 피싱 이메일은 어색한 한국어, 문법 오류, 일반적인 수신인 호칭으로 쉽게 구별됐다. 그러나 LLM이 등장하면서 상황이 달라졌다. 공격자들은 GPT 계열 또는 무검열 오픈소스 LLM(WormGPT, FraudGPT 등)을 이용해 수천 건의 피싱 이메일을 개인화하여 자동 생성하고 있다.

        실제 사례: 2024년 1월 영국 엔지니어링 기업 Arup의 홍콩 사무소에서 발생한 딥페이크 화상회의 사기 사건에서, 재무 담당 직원은 본인을 제외한 참석자 전원이 딥페이크인 영상통화에 속아 5개 계좌로 15회에 걸쳐 약 2억 홍콩달러(약 2,560만 달러)를 이체했다. 홍콩 경찰은 가짜 화상회의가 이런 방식으로 쓰인 첫 사례라고 밝혔다.
      

AI 피싱의 특징

LinkedIn·SNS·이메일 서명 등 공개 정보를 스크랩하여 표적 맞춤 메시지 자동 생성
자연스러운 문어체·구어체 혼용으로 기존 필터 우회
초당 수천 건 발송 자동화 — 규모의 경제 실현
실시간 대화형 피싱 챗봇 운영

2. AI 생성 악성코드 (AI-Generated Malware)

GitHub Copilot, Code Llama 계열 코드 생성 AI를 악용한 맞춤형 악성코드 생성이 증가하고 있다. 특히 시그니처 기반 탐지를 우회하는 폴리모픽(polymorphic) 악성코드를 AI가 자동으로 변이시키는 방식이 주목받고 있다.

폴리모픽 악성코드는 실행마다 코드를 재생성해 동일한 시그니처를 남기지 않는다. 시그니처 기반 안티바이러스가 대응하기 어려운 구조적 이유이며, 행위 기반 탐지(EDR)가 필요한 근거다.

멀티플랫폼 대응 코드 자동 생성 (Windows/Linux/macOS)
난독화·패킹 로직 자동 적용
취약점 PoC 코드를 실제 익스플로잇으로 즉시 변환

3. 딥페이크와 음성 복제

11초 분량의 음성 샘플만으로 누구의 목소리도 복제할 수 있는 기술이 상용화됐다. 공격자들은 CEO 또는 임원 목소리를 복제하여 재무팀 직원에게 긴급 송금을 지시하는 보이스 피싱(Vishing) 고도화 버전을 운용하고 있다.

4. 방어자가 취해야 할 조치

Out-of-band 검증 절차 도입: 이메일·메시지로 긴급 송금·권한 요청이 오면 반드시 전화 또는 대면으로 재확인
AI 기반 이메일 보안 도입: 기존 키워드 필터를 넘어 행동 패턴 기반 탐지 도구 활용
직원 보안 인식 교육 업그레이드: AI 생성 콘텐츠 식별 훈련 포함
딥페이크 탐지 솔루션 검토: 영상통화·음성 통화 실시간 딥페이크 탐지 기술 도입
Zero-Trust 아키텍처: 어떤 요청도 자동 신뢰하지 않는 원칙 강화

AI는 공격자에게 비용을 낮추고 규모를 높이는 도구다. 방어자 역시 AI를 적극 도입하되, 기술적 통제만큼 인적 절차(Human Process)를 강화하는 것이 현 시점에서 가장 현실적인 대응이다.