프롬프트 인젝션 문서 지시 구별, 요약만 맡겼다가 메일 털려요

PDF나 메일, 웹 문서를 AI에게 통째로 넘겨 요약시키는 일이 잦은 분만 보세요.

남이 만든 문서 안에 숨은 지시가 섞여 있으면, AI가 그 문장을 내 요청처럼 따라 버릴 수 있어요.

요약 결과가 이상할 때 바로 알아차리는 법과 미리 막는 습관을 순서대로 정리했어요.

한 줄 정답: 문서는 자료로만 묶고, 전송이나 저장 같은 행동은 직접 승인하세요.

1. 증상. 요약만 맡겼는데 메일까지 털리는 경우

문서 속 지시를 자료로 묶어 두고 메일 검색이나 전송은 사람이 승인해야 털리지 않아요.

Microsoft 보안대응센터 블로그가 든 예시를 보면, 받은 메일에 숨긴 지시가 요약 도중 다른 메일을 검색하게 만들어요.

비밀번호 재설정 메일 속 링크를 뽑아 공격자 주소로 붙여 보내라는 지시였는데, 사용자 눈에는 평범한 요약만 보이죠.

요약 끝에 엉뚱한 질문이 붙거나, 시키지 않은 검색과 저장이 일어나면 의심부터 해 보는 게 좋아요.

이런 분은 요약 앱에 메일 권한을 아예 주지 말고, 업무상 꼭 필요한 분은 승인 창을 끄지 않는 쪽을 권해요.

2. 원인. 문서 속 문장이 명령으로 섞이는 구조

AI는 내 요청과 문서 내용을 같은 글자 덩어리로 받아서, 둘을 완벽하게 가르지 못해요.

OWASP LLM01 프롬프트 인젝션 항목도 확실하게 막는 방법은 아직 분명하지 않다고 봐요.

OpenAI 보안책임자 발언도 같은 결이었고, 아직 풀리지 않은 문제예요.

개인 데이터 접근, 믿을 수 없는 콘텐츠, 외부로 보내는 기능이 한 도구에 모이면 위험해져요.

세 가지 중 하나만 빼도 피해가 크게 줄어든다는 게 이 글의 요지인데, 일반 사용자가 끊기 쉬운 건 외부 전송 쪽이에요.

3. 확인. 숨은 글씨와 이상한 문장 찾는 순서

요약 전에 문서 전체를 선택해 글자색과 크기를 바꿔 보면 숨은 문장이 드러나는 경우가 많아요.

PDF 바닥글에 투명한 글씨를 넣으면, 모델이 평범한 지시처럼 받아들여요.

같은 토론의 댓글은 메타데이터를 지우고, 눈에 보이는 글자만 OCR로 읽히게 하라는 방어책을 내놨죠.

흰 바탕에 흰 글씨, 아주 작은 글씨, 문서 첫머리의 긴 메모가 대표적인 숨김 위치더라고요.

다만 보이지 않는 유니코드 문자로 숨긴 경우는 눈으로 확인이 어려워서, 아래 템플릿과 승인 습관이 같이 필요해요.

4. 해결 1. 문서를 자료로 묶는 안전 템플릿

문서 앞뒤에 경계 표시를 두고, 그 안의 지시는 따르지 말고 알려만 달라고 적으면 효과가 있어요.

Microsoft 보안대응센터 블로그에 소개된 스포트라이팅도 믿을 수 없는 글 앞뒤에 표시를 붙여 구분하는 방식이에요.

개인이 채팅창에서 쓸 때는 아래처럼 바꿔 쓰면 충분하더라고요.

마지막 줄의 목록 덕분에, 숨은 지시가 있었는지 결과 화면에서 바로 확인할 수 있어요.

OpenAI 프롬프트 인젝션 안내 페이지가 권하는 것처럼 “메일 보고 알아서 처리해” 같은 넓은 요청 대신 할 일을 좁혀 주는 것도 같은 효과를 내요.

표와 숫자를 뽑을 때는 AI 표 추출 프롬프트 숫자 검증 글의 검산 순서를 같이 쓰면 오염된 값도 걸러져요.

5. 해결 2. 메일 전송은 사람이 마지막에 누르기

메일 보내기, 기억 저장, 결제처럼 되돌리기 어려운 행동은 AI가 대신 끝내지 못하게 해야 해요.

문서 요약 뒤에 붙은 질문에 그렇다고 답하면, 가짜 정보가 장기 기억에 저장될 수 있어요.

사용자가 한 일은 질문에 짧게 답한 것뿐이라, 승인 창이 없었다면 눈치채기 어려운 흐름이죠.

같은 블로그는 저장된 기억 목록을 주기적으로 열어 보라고 조언하는데, 실제로 써 보면 이 습관 하나로 이상 징후를 꽤 잡아내요.

6. 예외와 결론. 템플릿만 믿으면 안 되는 경우

템플릿은 확률을 낮출 뿐이라, 메일과 드라이브 권한이 열린 AI에는 권한 제한이 우선이에요.

탐지 도구가 대부분 막는다고 홍보해도, 웹 보안 기준으로는 낙제점일 수 있어요.

보이지 않는 문자로 숨긴 지시는 사람 눈 점검에서도 빠지는 일이 있으니, 중요한 문서는 연동 없는 채팅에서만 다루는 게 안전해요.

주관적으로 정리하면 요약만 쓰는 분은 템플릿과 숨은 글씨 점검이면 충분하고, 메일 연동 AI를 쓰는 분은 승인 창과 권한 축소가 먼저예요.

7. 함께 보면 좋은 글

• 회의록 요약 프롬프트 템플릿: 회의록이나 메일을 요약할 때 쓰는 기본 틀을 찾을 때 좋아요.
• 프롬프트 글 모음: 업무용 프롬프트를 더 모아 보고 싶을 때 열어 보세요.

8. 문서 지시 구별, 자주 묻는 질문

Q1. 템플릿만 쓰면 프롬프트 인젝션이 완전히 막히나요?

아니요, 템플릿은 가능성을 낮출 뿐 완전한 차단은 아니에요. OWASP도 확실한 예방법은 분명하지 않다고 보고 권한 제한과 사람 승인을 함께 권해요.

Q2. 숨은 글씨는 어떻게 찾아요?

전체 선택 후 글자색과 크기를 바꿔 보면 대부분 드러나요. 보이지 않는 유니코드 문자는 눈으로 찾기 어려워 승인 습관이 같이 필요해요.

Q3. 메일 연동 AI는 쓰면 안 되나요?

아니요, 쓰되 전송과 결제 전 승인 창을 켜 두면 돼요. 필요 없는 연동은 끄고 할 일을 좁게 지시하는 편이 안전해요.

Q4. 요약 끝에 이상한 질문이 붙으면 어떻게 해야 해요?

답하지 말고 원문에 숨은 지시가 있는지 먼저 확인하세요. 짧은 답 하나로 기억 저장 같은 행동이 이어진 실험 사례가 있어요.