분석 보고서 · 방어·교육용 · 2026년 10월 6일 기준
한국 금융권 해킹에서 흔적이 나온 ARTEX처럼, AI를 공격에 활용한 실제 사례 8건을 AI 회사·보안 회사의 위협 보고서(1차 자료)를 중심으로 정리했습니다. 이어서 공격 유형별 탐지·차단 방법을 정리했습니다. 공격 방법을 알려 주는 글이 아니라, 무엇이 일어났고 어떻게 막을지를 다루는 방어용 자료입니다.
사례 8건에서 AI가 맡은 역할을 유형으로 묶었습니다. 빨간 칸이 공격자가 AI로 한 일입니다. 방어용 자료이므로 수법은 개요 수준으로만 적었습니다.
| 공격 유형 | 해킹 수법 (공격자가 AI로 한 일) | 사례 | 근거 |
|---|---|---|---|
| ① 자율 침투 도구로 탐색·공격 자동화 | AI 에이전트가 여러 보안 도구를 지휘해 취약점 탐색부터 침투까지 자동으로 반복. 여러 대상을 동시에 노림 | ARTEX(한국 금융권), Villager, HexStrike-AI | 금융보안원 역추적(헤럴드경제·서울신문), Straiker 보고서(언론 보도 기준), Check Point 블로그 |
| ② 범용 AI 코딩 에이전트를 공격에 전용 | AI 코딩 도구를 속여 정찰·취약점 공격·자료 수집을 대부분 맡기고, 사람은 몇 번의 결정만 내림 | GTG-1002(Claude Code 악용 사이버 스파이), GTG-2002(데이터 갈취) | Anthropic 공식 발표·보고서 |
| ③ 실행 중에 AI를 부르는 악성코드 | 감염된 컴퓨터에서 악성코드가 AI 서비스에 질문해 명령이나 자기 코드를 그때그때 새로 만들어, 고정된 탐지 규칙을 피함 | PROMPTSTEAL(LAMEHUG, APT28), PROMPTFLUX·PROMPTLOCK(실험 단계), QUIETVAULT | Google 위협정보그룹(GTIG) 보고서 |
| ④ AI 기반 보안 시스템 속이기 | 악성코드 안에 AI 보안 분석기를 속이는 문장을 미리 넣어 두어 탐지를 피하려 함 | FRUITSHELL | Google GTIG 보고서 |
| ⑤ AI 안전장치 우회 | 해킹 대회 참가 학생이나 보안 연구자인 척하는 핑계로 AI의 거절 장치를 우회. 작업을 잘게 쪼개 정상 요청처럼 보이게 함 | Gemini 악용 국가 배후 그룹들, GTG-1002 | Google GTIG, Anthropic |
| ⑥ 기존 공격의 속도 높이기 | 악성코드·원격조종 프로그램 개발, 피싱 문안 작성 같은 기존 작업을 AI로 더 빨리 함. 새 능력보다 속도가 핵심 | OpenAI가 차단한 러시아어권 범죄 조직, 북한·중국 연계 계정 | OpenAI 위협 보고서(2025년 10월) |
| ⑦ 딥페이크 사회공학 | AI로 만든 가짜 영상·음성으로 임원을 흉내 낸 화상회의를 열어 직원에게 송금을 지시 | Arup 홍콩 사무소(2024년) | 언론 보도 기준 |
AI는 공격자에게 새로운 마법을 준 것이 아니라, 이미 있던 공격을 더 빠르고, 더 많은 곳에, 더 적은 인력으로 할 수 있게 해 주었습니다(OpenAI: "bolting AI onto old playbooks to move faster"). 그래서 방어도 "빈틈을 줄이는 기본 통제"와 "기계 속도의 공격을 기계 속도로 잡는 자동 탐지"를 함께 갖춰야 합니다.
| 사례 | AI가 한 일의 비중 | 사람의 역할 | 드러난 AI의 한계 | 상태 |
|---|---|---|---|---|
| GTG-1002 | "80-90% of the campaign" | "4-6 critical decision points per hacking campaign" | "occasionally hallucinated credentials or claimed to have extracted secret information that was in fact publicly-available" | 1차 자료 확인 |
| ARTEX(한국) | 확인 못 함 | 당국: 해커가 AI 도구를 활용했고, AI가 사람 없이 독자적으로 공격한 것은 아님 | 확인 못 함 | 수사 중 |
| PROMPTFLUX·PROMPTLOCK | 실행 중 AI로 코드 생성 | - | Google이 "Experimental"(실험 단계)로 분류 | 1차 자료 확인 |
| PROMPTSTEAL | 실행 중 AI로 수집 명령 생성 | APT28 운영 | - | 실제 작전에서 관측 |
| HexStrike-AI | "150개 이상" 보안 도구 지휘 | 범죄자가 다크웹에서 활용 논의 | "10분 안에 공격" 주장은 공격자 측 주장 | 주장 수준 |
| OpenAI 차단 사례 | 기존 작업 보조 | 공격자가 주도 | OpenAI: 새 공격 능력보다 속도 향상 | 1차 자료 확인 |
| 공격 유형 | 탐지 신호 | 추천 탐지·차단 (우선순위) | 예시·근거 |
|---|---|---|---|
| ① 자율 침투 도구 ARTEX, Villager, HexStrike |
사람으로서는 불가능한 요청 속도, 연속 탐색과 즉시 재시도, IP를 바꿔 가며 반복 접근 | 1 외부 노출 자산 줄이기(공격표면관리, ASM) 1 패치 자동화 1 요청 횟수 제한·봇 관리(WAAP) 2 함정 페이지·미끼(기만 기술) |
Check Point: 패치 자동화, AI 기반 방어, 다크웹 위협 정보 모니터링 권고. Cloudflare AI Labyrinth: 숨은 링크로 봇을 미로에 가두는 "next-generation honeypot". 국내 사례는 금융권 보고서 3절 참조 |
| ② AI 코딩 에이전트 전용 공격 GTG-1002, GTG-2002 |
짧은 시간 대량 조회·자료 반출, 내부망에서 비정상적으로 빠른 정찰, 탈취한 자격증명 사용 | 1 미끼 자격증명(허니토큰) 1 대량 조회·반출 탐지(UEBA·DLP) 2 보안관제(SOC) 자동화 |
허니토큰은 정상 사용자가 건드릴 일이 없어 건드리는 순간 높은 신뢰도의 경보가 됨(Zscaler·Acalvio 등 기만 기술 업계 설명). Anthropic 권고: SOC 자동화, 위협 탐지, 취약점 평가, 사고 대응에 AI 적용 |
| ③ AI를 부르는 악성코드 PROMPTSTEAL 등 |
업무와 무관한 프로그램이 AI 서비스(Gemini, Hugging Face 등)에 접속, 코드 안에 박힌 AI 서비스 키, 실행할 때마다 바뀌는 스크립트 | 1 승인되지 않은 AI 서비스 접속 통제(외부 연결 통제·SWG) 1 행위 기반 엔드포인트 탐지(EDR) 2 AI 서비스 키 유출 모니터링 |
Google GTIG: 관련 프로젝트·계정 차단, 분류기 강화. 고정 패턴 대신 행위를 봐야 함(이 보고서의 해석) |
| ④ AI 보안 시스템 속이기 FRUITSHELL |
파일·로그 속에 AI 분석기에게 지시하는 듯한 문장 | 2 AI 분석기 입력을 지시가 아닌 데이터로 격리 2 AI 판정에 사람 검토·규칙 기반 교차 확인 |
Google GTIG(FRUITSHELL: "hard-coded prompts designed to bypass LLM-powered security systems") |
| ⑤ AI 안전장치 우회 | (방어 조직이 아니라 AI 제공사가 보는 신호) | 3 AI 제공사 위협 보고서 구독·위협 정보 공유 | Anthropic·Google·OpenAI가 계정 차단 후 지표 공유 |
| ⑥ 기존 공격 가속 피싱·악성코드 |
자연스러운 문장의 맞춤형 피싱, 빠르게 바뀌는 변종 | 1 피싱 저항형 인증(FIDO·보안키) 2 이메일 보안·EDR |
OpenAI 보고서: 북한 연계 계정이 한국 외교 기관 대상 피싱 캠페인과 연결(언론 요약 기준) |
| ⑦ 딥페이크 사회공학 | 급하고 비밀스러운 송금 지시, 화상회의에서만 확인되는 요청 | 1 송금 전 다른 경로로 재확인(콜백) 1 고액 송금 다중 승인 2 딥페이크 대응 교육 |
Arup: 직원이 15차례 송금한 뒤에야 속은 것을 알았음(언론 보도). 딥페이크 탐지 제품은 이번에 확인하지 않음 |
우선순위: 1 즉시~1개월 2 1~3개월 3 상시. 추천과 우선순위는 이 보고서의 제안입니다.
위 추천을 실제 제품 기능으로 확인한 표입니다. 10개 회사의 공식 페이지를 Aside로 조사하고, 주요 칸은 공식 페이지를 다시 열어 대조했습니다. 각 칸의 번호는 1절의 공격 유형입니다.
| 회사 (제품) | AI 에이전트·봇 탐지 ① |
요청 제한·자동화 차단 ① |
기만 기술 (미끼·함정) ①② |
행위 기반 엔드포인트 탐지 ②③ |
생성형 AI 접속 통제 ③ |
위협 인텔리전스 ⑤⑥ |
AI 보안관제 자동화 ② |
딥페이크 탐지 ⑦ |
|---|---|---|---|---|---|---|---|---|
| Cloudflare Bot Management, AI Labyrinth, Rate Limiting | ● | ● | ◐ | — | — | — | — | — |
| Akamai Bot Manager, App & API Protector | ● | ● | — | — | ◐ | — | ◐ | — |
| CrowdStrike Falcon, Charlotte AI, Falcon Identity | ◐ | — | — | ◐ | ◐ | ◐ | ● | — |
| Microsoft Defender XDR, Security Copilot, Entra | — | — | — | ● | ● | ● | ● | — |
| Palo Alto Networks Cortex XSIAM, AI Access Security, Prisma AIRS | ◐ | — | — | ● | ● | ● | ● | — |
| Zscaler Deception, 생성형 AI 보안 | ◐ | — | ● | — | ● | — | ◐ | — |
| Google Cloud Cloud Armor, Threat Intelligence | ● | ● | — | — | — | ● | — | — |
| Acalvio ShadowPlex | ● | — | ● | ◐ | — | ◐ | ◐ | — |
| Pindrop Pulse | — | — | — | — | — | — | — | ● |
| Reality Defender 딥페이크 탐지 플랫폼 | — | — | — | — | — | — | — | ● |
● 공식 제품 페이지·문서에서 기능 확인 ◐ 간접 확인(회사 블로그·학습 자료, 또는 다른 목적의 기능이라 일부만 해당) — 이번 조사에서 확인 못 함. "—"는 기능이 없다는 뜻이 아닙니다.
| 회사 | 확인한 내용 (원문) |
|---|---|
| Cloudflare | 봇: "uses machine learning and behavioral analysis across our global network to automatically detect and stop malicious bot traffic", "Allow, Block, Challenge or Rate Limit". 기만: AI Labyrinth "acts as a next-generation honeypot"(블로그라서 ◐) |
| Akamai | "Advanced bot detection using AI models for user behavior analysis, browser fingerprinting", 점수 "from 0 (human) to 100 (bot)", "Verify Your Bot or AI Agent", "detects low-and-slow attacks". Firewall for AI는 회사의 AI 앱을 지키는 제품이라 생성형 AI 접속 통제는 ◐ |
| Zscaler | 기만: "any adversary—human or agentic—triggers an immediate alert", "Deception catches autonomous agentic attacks that iterate instantly and run parallel paths, turning AI's advantages against it." 생성형 AI 통제: "Define and enforce which AI tools your users can and cannot access." |
| Acalvio | "Detects APTs, AI-driven attacks exposing behavior during reconnaissance", "360 Deception combines dynamic decoys, honeytokens, evolving deceptive paths" |
| CrowdStrike | Charlotte AI: "reasons, decides, and acts at machine speed", Detection Triage "benchmarked at over 98% accuracy"(회사 발표 수치). 자동 대응은 기본값이 아니고 사람 승인 또는 자동 실행을 고르는 방식. Falcon Identity: "Control access for AI agents"(AI 에이전트의 접근 통제라 ◐) |
| Microsoft | Security Copilot: "agents handle high-volume security tasks", 피싱 분류 에이전트로 "found malicious emails up to 550% faster"(회사 발표 수치). Entra: "Enforce access controls for Gen AI services with Conditional Access" |
| Palo Alto Networks | AI Access Security: "Classify apps as sanctioned, tolerated or unsanctioned", "4000+ GenAI applications", "block sensitive text- and file-based data transfer to GenAI apps". Prisma AIRS는 회사의 AI 시스템을 지키는 제품이라 AI 에이전트 탐지는 ◐ |
| Google Cloud | Cloud Armor 봇 관리(reCAPTCHA 기반)와 요청 횟수 제한. Google Threat Intelligence: "tailored risk profiles, TTP analysis" |
| Pindrop | "99% detection rate for known deepfake engines and over 90% detection for new or unseen deepfake generation engines"(회사 발표 수치). Teams·Zoom·Webex 회의와 콜센터에 적용 |
| Reality Defender | "Analyze audio, video, and images across live calls, meetings, and uploaded files", "Protect critical channels and assets from deepfake impersonations in real time." |