메일을 읽고 문서를 요약하던 AI가 이제는 일정을 등록하고, 파일을 수정하며, 외부 서비스까지 직접 실행하기 시작했다. 사용자의 지시를 기다리기보다 목표에 맞춰 여러 단계를 스스로 수행하는 AI 에이전트가 업무와 일상으로 빠르게 진입하고 있는 것이다. 하지만 연결된 데이터와 권한이 많을수록 잘못된 판단이나 악성 명령이 단순한 오답을 넘어 정보 유출과 비인가 작업으로 이어질 가능성도 커진다. 편리한 자동화가 통제되지 않은 실행으로 바뀌지 않도록, 기업과 개인이 AI 에이전트를 사용하기 전 확인해야 할 7가지 보안 체크포인트를 살펴보자.

(이미지 출처: 안랩 - https://www.ahnlab.com/ko/contents/content-center/36246)

AI 에이전트 보안이 필요한 이유

일반적인 생성형 AI가 질문에 답하거나 콘텐츠를 만드는 데 집중한다면, AI 에이전트는 목표를 달성하기 위해 정보를 찾고 작업 순서를 정한 뒤 연결된 도구를 이용해 실제 업무까지 수행할 수 있다. 이메일을 검색해 답장을 작성하거나 일정을 등록하고, 문서와 데이터베이스에서 정보를 불러오는 식이다.

문제는 AI가 답변을 넘어 실제 행동까지 수행할 때 보안 위험도 함께 커진다는 점이다. 파일과 이메일, 외부 애플리케이션에 접근할 권한이 있는 에이전트가 잘못된 판단을 내리거나 악성 지시의 영향을 받으면 정보 유출, 파일 변경, 비인가 작업으로 이어질 수 있다. 따라서 AI의 판단만 신뢰하기보다 데이터 접근과 외부 전송, 명령 실행 등 실제 행동을 별도의 정책으로 제한하고 검증해야 한다.

1. 사용 중인 AI 에이전트부터 확인

AI 에이전트 보안의 출발점은 조직과 개인이 사용 중인 AI 서비스를 정확히 파악하는 것이다. 회사가 공식적으로 도입한 서비스 외에도 직원이 개인 계정으로 사용하거나 부서에서 자체 개발한 에이전트도 관리 범위에 포함해야 한다.

또한 각 에이전트의 이름만 나열해서는 충분하지 않다. 담당 부서와 관리자, 사용 목적과 적용 업무, 사용하는 AI 모델, 연결된 데이터와 애플리케이션, 보유 권한, 로그 보관 기준 등을 함께 등록해야 한다. 승인되지 않은 서비스에 내부 문서나 고객 정보가 입력되면 데이터의 전달 경로를 확인하기 어렵고, 사고 발생 시 어떤 요청과 작업을 거쳐 문제가 발생했는지 추적하기도 힘들다. 조직에서 사용하는 공식·비공식 에이전트를 빠짐없이 목록화하고, 권한과 연결 범위를 지속적으로 관리하는 것이 중요하다.

AI 에이전트를 도입하거나 운영할 때는 다음 사항을 확인해야 한다.

• 허용한 AI 에이전트와 사용이 제한된 서비스가 구분돼 있는가?
• 각 에이전트의 담당자와 사용 목적이 등록돼 있는가?
• 연결된 데이터와 API, 플러그인, MCP 서버를 파악하고 있는가?
• 사용하지 않는 서비스와 연결 권한을 정기적으로 회수하는가?

개인 사용자도 자신이 가입한 AI 서비스와 연결 앱을 주기적으로 확인하고, 더 이상 사용하지 않는 계정이나 이메일·클라우드 접근 권한은 해제할 것을 권장한다.

(이미지 출처: 안랩 - https://www.ahnlab.com/ko/contents/content-center/36246)

2. AI에 입력해도 되는 정보 구분

AI 에이전트는 업무를 수행하는 과정에서 이메일과 문서, 소스코드, 고객 정보 등 다양한 데이터를 읽고 활용한다. 따라서 단순히 AI 사용을 허용하는 데 그치지 않고, 어떤 정보를 입력하거나 외부 서비스와 연결할 수 있는지 구체적인 기준을 마련해야 한다.

예를 들어 공개 자료나 적절히 비식별화된 샘플 데이터는 활용할 수 있지만, 비밀번호와 API 키 같은 인증정보, 개인정보, 결제 정보, 미공개 경영 자료는 입력을 제한해야 한다. 내부 문서와 소스코드 역시 조직이 승인한 기업용 서비스와 계정에서만 처리하도록 기준을 정한다. 이러한 데이터 분류와 입력 제한, 민감정보 보호 규칙을 도입 초기부터 마련하면 예기치 않은 정보 노출 가능성을 줄일 수 있다.

사용자가 직접 입력한 정보 말고도 에이전트가 이메일이나 문서 저장소에서 검색해 불러오는 자료도 관리 대상에 포함해야 한다. 저장소 전체에 접근 권한을 부여하면 요청과 무관한 개인정보나 기밀정보까지 처리할 수 있기 때문이다. 따라서 업무에 필요한 데이터만 연결하고, 외부 전송이나 결과 출력 전에는 민감정보가 포함됐는지 다시 확인해야 한다.

개인 사용자도 주민등록번호와 계좌번호, 비밀번호, 인증번호, 의료정보 등 민감한 정보는 가급적이면 AI에 입력하지 않는다. 문서를 업로드해야 할 경우에는 이름과 연락처처럼 작업에 필요하지 않은 개인정보를 먼저 삭제하거나 가린다.

3. 필요한 권한만 허용, 중요한 작업은 직접 승인

AI 에이전트에는 처음부터 넓은 권한을 부여하기보다, 필요한 범위의 읽기 권한부터 적용하는 것이 안전하다. 문서 검색과 요약은 자동화하더라도 메일 발송, 파일 삭제, 계정 생성, 권한 변경, 결제, 코드 배포처럼 영향이 큰 작업은 사람의 승인이나 추가 인증을 거치도록 해야 한다. 사용자가 가진 권한을 그대로 넘기지 않고, 에이전트가 실제 업무에 필요한 범위만 사용할 수 있도록 최소권한 원칙을 적용하는 것이 중요하다.

권한을 장기간 유지하지 않는 것도 필요하다. 특정 작업을 수행하는 동안에만 제한된 권한을 부여하고, 작업이 끝나면 회수하는 방식이 바람직하다. 장기 토큰이나 고정된 접근키가 노출되면 공격자가 해당 권한을 반복해서 악용할 수 있기 때문이다.

개인 사용자도 AI 서비스가 이메일과 캘린더, 클라우드 저장소 접근을 요청할 때 모든 권한을 한꺼번에 허용하지 말고 실제로 필요한 항목만 선택해야 한다. 메일 발송과 결제, 파일 삭제처럼 중요한 작업은 AI가 실행하기 전에 대상과 내용을 직접 확인한 뒤 최종 승인한다.

4. MCP 서버와 외부 도구 출처 확인

AI 에이전트는 API와 플러그인, MCP(Model Context Protocol) 서버를 통해 외부 데이터와 서비스를 이용한다. MCP는 AI 애플리케이션이 다양한 도구와 데이터 소스를 일정한 방식으로 연결하도록 지원하지만, 연결 대상이 많아질수록 보안상 확인해야 할 지점도 함께 늘어난다.

검증되지 않은 MCP 서버나 외부 도구를 연결하면 정상 기능을 가장한 악성 도구가 포함되거나, 필요 이상의 권한을 요구해 다른 시스템과 데이터에 접근할 위험이 있다. 또한 서버나 도구가 업데이트되면서 기능과 권한 범위가 달라지면 이전의 보안 검토 결과가 더 이상 유효하지 않을 수 있다. 따라서 인증과 권한 관리, 데이터 노출 가능성, 서버와 도구의 신뢰성, 공급망 위험 등을 함께 점검해야 한다.

외부 도구를 연결할 때는 공식 또는 검증된 배포처에서 제공됐는지 확인하고, 어떤 데이터와 권한을 요구하는지 사전에 살펴봐야 한다. 사용하지 않는 서버와 플러그인은 비활성화하고, 업데이트 이후에는 권한과 동작 범위에 변화가 없는지 다시 확인하는 것이 좋다.

개인 사용자도 기본 원칙은 같다. 출처가 불분명한 AI 확장 프로그램이나 브라우저 플러그인은 설치하지 말고, 이메일과 파일에 과도한 접근 권한을 요구한다면 설치를 중단하거나 권한 범위를 다시 확인해야 한다.

(이미지 출처: 안랩 - https://www.ahnlab.com/ko/contents/content-center/36246)

5. 프롬프트 인젝션 주의

AI 에이전트는 사용자의 요청뿐 아니라 웹페이지와 이메일, 문서에서 읽은 내용도 함께 처리한다. 공격자는 이러한 외부 콘텐츠에 악성 지시를 삽입해 AI가 이를 참고 자료가 아닌 새로운 명령으로 받아들이도록 유도할 수 있는데, 이를 간접 프롬프트 인젝션이라고 한다.

예를 들어 웹페이지 내용을 읽고 요약해 달라고 했는데 해당 페이지에 정보 전송이나 외부 링크 접속을 요구하는 지시가 포함돼 있다면, 에이전트가 원래 요청과 다른 행동을 시도할 수 있다. 이메일 본문과 첨부 문서, 검색 결과, SaaS 데이터도 같은 공격 경로가 될 수 있다.

이러한 공격은 특정 문구를 차단하는 것만으로 완전히 막기 어렵다. 외부 콘텐츠와 시스템 명령을 구분하고, 파일 전송이나 명령 실행 같은 중요한 행동은 별도의 검증과 승인 절차를 거치도록 해야 한다.

개인 사용자도 AI가 웹페이지나 이메일을 요약했다는 이유만으로 결과를 그대로 신뢰해서는 안 된다. 갑자기 로그인 정보 입력이나 파일 업로드, 낯선 링크 접속을 요구한다면 작업을 중단하고 요청이 정상적인지 한 번 더 확인해야 한다.

6. AI 결과 검증과 안전한 실행

AI가 생성한 결과가 항상 정확하거나 안전한 것은 아니다. 잘못된 코드나 존재하지 않는 주소, 조작된 명령어가 포함될 수 있으며, 여러 에이전트가 서로 결과를 주고받는 환경에서는 오류나 악성 지시가 다음 작업으로 이어질 가능성도 있다.

따라서 AI가 출력한 결과는 그대로 신뢰하지 말고 실행 전에 검증해야 한다. 코드는 허용된 명령인지 확인하고, 이메일은 수신자와 첨부파일을 살펴봐야 하며, 데이터베이스 변경은 대상과 범위를 점검해야 한다. 중요한 판단이나 작업은 다른 자료 또는 사람의 검토를 거치는 것이 좋다.

코드나 파일을 직접 실행하는 에이전트는 실제 업무 환경과 분리된 샌드박스에서 동작시키는 것이 안전하다. 문제가 발생하더라도 다른 시스템과 데이터로 피해가 확산되는 것을 줄일 수 있기 때문이다. 이와 더불어, 입력 검증과 출력 검사, 최소권한, 실행 모니터링, 사람의 승인 등을 함께 적용하는 다층 방어가 필요하다.

개인 사용자도 AI가 만든 프로그램이나 문서 속 매크로, 스크립트를 바로 실행하지 말아야 한다. 출처와 내용을 알기 어려운 파일은 보안 프로그램으로 검사하고, 중요한 메일과 문서는 발송하거나 공유하기 전에 직접 확인한다.

7. AI 행동 기록과 사고 대응

AI 에이전트를 안전하게 운영하려면 최종 결과뿐 아니라 실행 과정도 기록해야 한다. 누가 어떤 요청을 보냈는지, 에이전트가 어떤 데이터에 접근했는지, 어떤 도구를 호출해 무슨 작업을 수행했는지 확인할 수 있어야 한다.

이러한 로그는 사고 발생 후 원인을 추적하는 자료이자, 비정상적인 행동을 탐지하는 보안 데이터로 활용할 수 있다. 평소와 다른 데이터 접근이나 예상하지 못한 외부 전송, 과도한 권한 사용, 비정상적인 도구 호출 등이 나타나는지 지속적으로 살펴봐야 한다. 다만 프롬프트와 응답에 포함된 개인정보나 기밀정보가 로그에 그대로 남지 않도록 마스킹과 접근통제를 적용하고, 보관 기간도 사전에 정해야 한다.

배포 전에는 간접 프롬프트 인젝션과 권한 남용, 도구 오용, 데이터 유출, 의도하지 않은 코드 실행 등 실제 위협을 가정한 보안 테스트가 필요하다. 모델이나 플러그인, 연결 시스템이 변경된 이후에도 같은 검증을 반복하고, 이상 행동이 발견됐을 때 에이전트를 중단하고 권한을 회수하며 영향을 조사할 수 있는 사고 대응 절차를 마련해야 한다.

개인 사용자도 AI 서비스의 로그인 기록과 연결된 앱을 주기적으로 확인하는 습관을 가져야 한다. 의심스러운 활동이 발견되면 연결 권한을 해제하고 비밀번호를 변경해야 하며, 업무용 AI에서 이상 동작이나 정보 노출이 의심될 경우에는 조직의 보안 담당자에게 즉시 알려야 한다.

(이미지 출처: 안랩 - https://www.ahnlab.com/ko/contents/content-center/36246)

신뢰할 수 있는 AI 에이전트의 전제는 ‘통제 가능한 자동화’

AI 에이전트를 안전하게 사용하기 위해 모든 자동화를 포기할 필요는 없다. 대신 AI가 어떤 정보를 읽고, 어떤 도구를 사용하며, 어디까지 작업을 수행할 수 있는지를 도입 단계부터 명확히 정해야 한다. 조직 내 에이전트 목록과 데이터 이용 기준을 마련하고, 최소권한 원칙과 사람의 승인을 적용하는 한편 입력·출력 검증, 실행 환경 격리, 로그 기록, 사고 대응 체계를 함께 갖추는 것이 중요하다.

특히 프롬프트 인젝션처럼 완전히 제거하기 어려운 위협이 존재하는 만큼, AI가 항상 올바르게 판단할 것이라고 가정하면 안 된다. 잘못된 판단이나 예기치 않은 동작이 발생하더라도 피해가 다른 시스템과 데이터로 확산되지 않도록 접근 범위와 실행 권한을 제한해야 한다.

출처 : AhnLab