프롬프트 인젝션

프롬프트 인젝션은 사용자 입력이나 외부 문서 속 지시가 모델의 원래 규칙을 무시하게 만들거나 의도하지 않은 행동을 유도하는 공격입니다. 사용자가 직접 공격 문장을 입력하는 방식과, 모델이 읽는 웹페이지나 문서에 지시를 숨기는 간접 방식이 있습니다.

도구와 데이터에 접근하는 AI 에이전트에서는 잘못된 지시가 정보 유출이나 무단 작업으로 이어질 수 있어 위험이 커집니다.

단순히 ‘이전 지시를 무시하지 말라’는 문장을 추가하는 것만으로 막을 수 없습니다. 입력과 지시의 분리, 최소 권한, 도구 호출 검증, 사람의 승인 같은 방어를 함께 적용해야 합니다.