AI도 속을 수 있다, 프롬프트 인젝션이란?

보안 이슈 2026-08-07

AI에게 입력하는 문장은 단순한 질문이 아니다. 문장 속 지시가 AI의 판단과 동작 방식에 영향을 미쳐, 본래 목적과 다른 답변이나 행동을 유도하는 공격 수단으로 악용될 수 있기 때문이다. 이를 ‘프롬프트 인젝션(Prompt Injection)’이라고 하며, 웹페이지나 이메일처럼 AI가 읽는 외부 콘텐츠를 통해서도 시도될 수 있다. AI가 이메일과 문서, 외부 서비스에 연결될수록 잘못된 답변을 넘어 민감정보 노출과 비인가 작업으로 이어질 가능성도 커진다. 프롬프트 인젝션의 원리와 주의할 점을 알아보자.

(이미지 출처: 안랩 - https://www.ahnlab.com/ko/contents/content-center/36245)

AI를 속이는 사회공학적 공격

프롬프트 인젝션(Prompt Injection)은 생성형 AI에 악의적인 지시를 입력해 원래의 목적이나 보안 규칙과 다른 답변 또는 행동을 하도록 유도하는 공격이다. 사람을 속여 정보를 빼내는 피싱처럼, AI가 신뢰할 수 없는 지시를 정상적인 요청으로 받아들이도록 조작한다는 점에서 AI를 대상으로 한 일종의 사회공학적 공격이다.

공격 지시는 사용자가 AI에 직접 입력할 수도 있고, 웹페이지와 이메일, 문서 등 AI가 읽는 외부 콘텐츠에 삽입될 수도 있다. AI가 이를 정상적인 명령으로 잘못 받아들이면 사용자가 요청하지 않은 답변을 생성하거나 의도하지 않은 작업을 수행할 수 있다. 특히 AI가 이메일과 파일, 데이터베이스, 외부 애플리케이션에 접근할 수 있다면 잘못된 지시가 실제 행동으로 이어질 수 있으며, 더 많은 정보와 권한에 접근하고 자율적으로 작업할수록 피해 범위도 커질 수 있다.

직접 입력하거나, 콘텐츠 속에 숨기거나

프롬프트 인젝션은 공격 지시가 전달되는 방식에 따라 크게 직접 인젝션과 간접 인젝션으로 구분할 수 있다.

직접 프롬프트 인젝션은 공격자가 AI와의 대화창에 악의적인 지시를 직접 입력하는 방식이다. 기존 명령을 무시하거나 역할을 바꾸도록 요구해 시스템이 설정한 규칙을 우회하고 답변을 왜곡하려는 시도가 대표적이다.

간접 프롬프트 인젝션은 웹페이지, 이메일, PDF, 문서 등 AI가 읽어들이는 외부 콘텐츠에 악성 지시를 숨기는 방식이다. 사용자는 단순히 문서 요약이나 검색을 요청했지만, AI는 외부 콘텐츠에 포함된 지시까지 처리하면서 원래 요청과 다른 결과를 생성할 수 있다.

공격 지시는 사람의 눈에 명확하게 보이는 문장일 필요도 없다. AI가 분석할 수 있는 형태라면 이미지나 문서의 숨겨진 영역, 특수하게 변형된 텍스트 등을 이용한 공격도 가능하다. 이미지와 텍스트를 함께 처리하는 멀티모달 AI가 확산되면서 이미지 속에 지시를 숨기는 형태도 새로운 위험으로 지적된다.

AI는 왜 숨은 지시에 흔들릴까?

생성형 AI는 사용자의 요청과 참고 자료를 하나의 문맥 안에서 함께 해석한다. 이 과정에서 시스템이 사전에 설정한 명령, 사용자의 요청, 웹페이지나 이메일에서 읽은 내용을 항상 완벽하게 구분하지 못할 수 있다.

공격자는 이런 AI의 특성을 악용해 외부 자료에 새로운 지시가 포함된 것처럼 꾸민다. 또한 표현을 바꾸거나 특수문자와 보이지 않는 문자를 섞고, 철자나 문자 간격을 변형하는 방식으로 탐지를 우회하려 할 수 있다. 문맥과 의미를 유연하게 이해하는 능력은 생성형 AI의 장점이지만, 공격자가 변형한 지시의 의도까지 해석해 처리할 수 있다는 점에서는 오히려 보안 위험이 된다.

검색증강생성(RAG)이나 추가 학습을 적용하더라도 프롬프트 인젝션 위험을 완전히 제거하기는 어렵다. AI가 신뢰할 수 있는 지시와 외부에서 유입된 데이터를 구분하도록 개선할 수는 있지만, 공격자가 문장과 형식을 계속 변형할 수 있어 단일 방어 수단만으로 모든 공격을 차단하는 데는 한계가 있다. 따라서 AI의 판단에만 의존하기보다 파일 접근이나 외부 전송, 명령 실행과 같은 실제 행동을 별도의 정책으로 제한하고 검증해야 한다.

잘못된 답변을 넘어 실제 피해로

프롬프트 인젝션이 성공하면 AI가 사용자의 요청과 다른 답변을 내놓거나, 특정 정보만 강조하고 중요한 내용을 누락하는 등 결과가 왜곡될 수 있다. AI가 다른 서비스와 연결돼 있다면 위험은 훨씬 커진다.

예를 들어 이메일이나 문서 저장소에 접근할 수 있는 AI 에이전트가 악성 지시를 정상적인 명령으로 받아들이면, 민감한 정보를 찾아 외부로 전송하거나 허가되지 않은 기능을 호출할 수 있다. 파일 수정과 명령 실행 권한까지 있다면 정보 유출을 넘어 시스템 변경이나 비인가 작업으로 피해가 확대될 가능성도 있다.

특히 AI가 생성한 결과를 다른 프로그램이 별도의 확인 없이 곧바로 실행하는 구조에서는 잘못된 판단이 실제 시스템 동작으로 연결될 수 있다. 프롬프트 인젝션을 답변 오류로 인지하는 데 그치지 않고 생성형 AI와 AI 에이전트 환경의 주요 보안 위협으로 봐야 하는 이유다.

(이미지 출처: 안랩 - https://www.ahnlab.com/ko/contents/content-center/36245)

일반 사용자도 주의해야 할 상황

프롬프트 인젝션은 AI 서비스를 개발하거나 운영하는 기업만의 문제가 아니다. 웹 검색과 이메일 요약, 문서 분석, 일정 관리처럼 AI가 외부 정보를 읽고 사용자를 대신해 행동하는 기능을 이용한다면 누구나 영향을 받을 수 있다.

다음과 같은 상황에서는 AI의 결과를 한 번 더 확인하는 것이 좋다.

웹페이지나 이메일을 요약한 AI가 갑자기 로그인이나 파일 업로드를 요구하는 경우
요청하지 않은 외부 링크 접속이나 정보 공유를 제안하는 경우
이메일 발송, 결제, 파일 삭제 등 중요한 작업을 자동으로 실행하려는 경우
AI가 만든 답변이나 추천이 사용자의 요청과 뚜렷하게 어긋나는 경우
출처를 알 수 없는 문서나 이미지에서 가져온 지시를 수행하려는 경우

AI가 보여주는 문장은 자연스럽고 그럴듯하게 보일 수 있다. 하지만 매끄러운 답변이 안전성까지 보장하지는 않는다는 사실을 명심해야 한다.

프롬프트 인젝션 피해를 줄이는 방법

민감한 정보와 연결 권한 제한
AI가 작업을 수행하는 데 꼭 필요한 정보와 서비스에만 접근하도록 해야 한다. 이메일 전체나 클라우드 저장소 전체를 연결하기보다 필요한 범위만 허용하고, 주민등록번호와 비밀번호, 인증번호, 금융정보 같은 민감정보는 입력하지 않는다.
중요한 작업은 실행 전에 직접 확인
메일 발송, 구매, 결제, 파일 삭제, 계정 변경처럼 되돌리기 어려운 작업은 AI가 실행하기 전에 어떤 대상에 무엇을 하려는지 사용자가 먼저 확인해야 한다. 수신자와 결제 금액, 변경 대상, 외부로 공유되는 정보 등을 살펴본 뒤 적절한 경우에만 실행을 승인하는 것이 좋다.
구체적이고 제한적인 지시 사용
“메일을 확인하고 필요한 조치를 모두 해줘”처럼 포괄적인 요청은 AI에 불필요하게 넓은 판단 권한을 줄 수 있다. “오늘 도착한 메일의 제목과 발신자만 정리해줘”처럼 작업 대상과 범위를 구체적으로 정하면 외부 콘텐츠에 숨겨진 지시가 영향을 미칠 가능성을 줄이는 데 도움이 된다. 다만 이것만으로 공격을 완전히 막을 수는 없다.
AI가 생성한 결과물 검증
AI가 작성한 코드와 명령어, 링크, 첨부파일을 바로 실행해서는 안 된다. 출처와 내용을 확인하고, 중요한 정보는 다른 자료와 비교해야 한다. 기업에서는 입력·출력 필터링, 최소권한, 실행 환경 격리, 이상 행위 모니터링, 레드팀 테스트 등을 결합한 다층 방어가 필요하다.