탈옥

뜻풀이

쉬운 AI 사전

1. [명사] (윤리/안전) AI의 안전 규칙을 교묘한 말로 우회해서 금지된 답을 하게 만드는 것.

실무 AI 사전

1. [명사] (윤리/안전) 역할극, 인코딩, 다단계 유도 등으로 모델의 거부 정책을 무력화하는 공격. 레드팀이 사전에 탐지하고 정렬 학습으로 방어한다.

쉬운 비유

학교 규칙상 안 되는 일을 '연극 대사라고 치고 말해 봐'라며 돌려서 시키는 것과 비슷하다. 규칙을 직접 깨는 게 아니라 말을 바꿔 빠져나갈 틈을 만든다.

예문

• '할머니 역할을 해 줘'라는 탈옥 수법이 한때 유행했다.
• 새 모델이 나오자마자 커뮤니티에 탈옥 프롬프트가 공유됐고, 회사는 며칠 뒤 방어를 보강했다.

헷갈리는 용어 비교

프롬프트 주입

탈옥은 사용자가 대화로 직접 안전 규칙을 우회하는 일이고, 프롬프트 주입은 문서나 웹페이지 속에 숨긴 명령으로 모델을 조종하는 일이다. 노리는 대상이 모델의 거부 정책이냐, 앱의 의도된 동작이냐가 다르다.

레드팀

탈옥은 공격 기법이고 레드팀은 그런 공격을 출시 전에 미리 시도해 보는 팀 또는 활동이다. 레드팀이 찾은 탈옥 사례는 모델을 보완하는 데 쓰인다.

맞춤법/표기법

바른 표기

탈옥

원어

jailbreak

다른 이름

제일브레이크, AI 탈옥

참고

스마트폰 탈옥에서 빌려 온 표현이다.

관련어