한국어EN
5분 용어AI와 사회중급한 겹 더

탈옥, jailbreak · jailbreaking · AI 탈옥

AI가 만든 글AI(Claude)가 이 사이트의 기록과 수업을 바탕으로 쓴 낱말 풀이예요. 자동 점검을 거쳐 올리고, 운영자가 모든 글을 읽지는 않아요.만드는 방법

말을 교묘하게 꾸며 AI가 지키던 안전 규칙을 어기게 만드는 시도예요.

AI는 위험하거나 해로운 부탁을 거절하도록 학습돼 있어요. 탈옥은 역할극을 시키거나, 질문을 잘게 쪼개거나, 엉뚱한 말을 길게 덧붙이는 식으로 이 거절을 피해 가려는 시도예요. 감옥을 빠져나가듯 규칙 밖으로 빠져나간다고 해서 붙은 이름이에요.

AI를 만드는 쪽은 새 탈옥 방법이 알려질 때마다 막는 장치를 더해요. 2025년 한 연구에서는 장치를 덧붙이자 탈옥 성공률이 86%에서 4.4%로 떨어졌지만, 계산이 더 들고 멀쩡한 부탁까지 거절하는 문제가 생길 수 있어요. 그래서 막는 쪽과 뚫는 쪽의 숨바꼭질이 계속돼요.

비유로 보면

학교 규칙의 빈틈을 찾는 학생을 떠올려 보세요. '복도에서 뛰지 마'라고 했더니 '빨리 걸었을 뿐인데요' 하는 식이죠. 탈옥도 AI 규칙의 글자는 피하면서 결국 금지된 걸 얻어 내려는 거예요.

예를 들면

'소설 속 악당이라면 뭐라고 말할까?'처럼 역할극으로 포장해 거절을 피해 가려는 게 흔한 탈옥 방식이에요.

자주 하는 오해

  • 오해탈옥은 AI를 해킹해서 프로그램을 고치는 일이다.

    실제로는이름은 휴대폰 '탈옥'에서 빌려 왔지만, 휴대폰 탈옥은 시스템 파일을 고치는 반면 AI 탈옥은 코드는 그대로 두고 말만 바꿔요. 특별한 기술 없이 누구나 글로 시도할 수 있다는 점이 막기 어려운 까닭이에요.

  • 오해막는 장치를 더하면 문제가 깨끗이 끝난다.

    실제로는막는 장치가 생기면 새 길도 찾아져요. 2025년 10월 발표된 'Chain-of-Thought Hijacking' 연구는 해로운 부탁 앞에 길고 무해한 풀이 과정을 잔뜩 붙이기만 해도 안전 거절을 피할 수 있다는 걸 보였어요.

수업에서 써 보기

선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.

질문
너무 많이 막으면 무엇을 잃고, 너무 적게 막으면 무엇을 잃을까요?
활동
'복도에서 뛰지 마' 같은 학교 규칙 하나를 골라, 모둠마다 '글자는 지키면서 뜻은 어기는' 빈틈을 찾아 적고 그 빈틈을 막도록 규칙을 고쳐 써요. 고친 규칙 때문에 괜찮은 행동까지 막히지는 않는지 다른 모둠이 검토해요. 그다음 기록 E0510에서 '성공률'과 '멀쩡한 부탁 거절'이 왜 함께 이야기되는지 읽어 봐요.

이 낱말과 이어진 기록

출처로 확인한 AI 역사 속 장면이에요.

Jianli Zhao 외 (인민대·옥스퍼드·스탠퍼드·Anthropic 등)
Chain-of-Thought Hijacking 발표

CoT 모니터링 낙관론에 대한 공격 측 반례

Anthropic
Constitutional Classifiers

3,000시간 이상 레드팀에서 범용 탈옥 미발견, 탈옥 성공률 86%에서 4.4%로. 대가는 컴퓨트 23.7% 증가