AI가 사람에게 해를 끼치지 않도록 연구하고 장치를 마련하는 일이에요.
AI 안전은 AI가 잘못 쓰이거나 엉뚱하게 움직여 피해를 주지 않도록 막는 연구와 장치를 함께 부르는 말이에요. 위험한 부탁을 거절하게 가르치기, 출시 전에 일부러 공격해 약점 찾기, 쓰이는 모습을 지켜보기 같은 일이 여기에 들어가요.
어떤 위험을 먼저 걱정해야 하는지는 전문가마다 생각이 달라요. 가짜 정보나 편향처럼 지금 눈앞의 문제를 더 중요하게 보는 사람도 있고, 앞으로 더 강해질 AI를 사람이 계속 통제할 수 있을지를 더 걱정하는 사람도 있어요. 2023년 영국에서 열린 AI 안전 정상회의처럼 여러 나라가 함께 논의하는 자리도 생겼어요.
비유로 보면
놀이공원 롤러코스터를 떠올려 보세요. 안전바, 키 제한, 아침마다 하는 시험 운행처럼 여러 장치가 겹겹이 있어야 마음 놓고 탈 수 있죠. AI 안전도 장치 하나로 끝나는 게 아니라 여러 겹을 쌓는 일이에요.
예를 들면
출시 전에 전문가들이 AI에게 위험한 부탁을 일부러 해 보며 약점을 찾는 일을 '레드팀'이라고 불러요.
자주 하는 오해
오해AI 안전은 위험한 부탁을 거절하게 만드는 장치 하나면 된다.
실제로는30곳이 넘는 나라와 국제기구가 후원하고 100명 넘는 전문가가 참여한 2026년 국제 AI 안전 보고서는, 실력 있는 공격자는 지금의 방어를 우회할 수 있고 여러 안전장치가 실제로 얼마나 통하는지도 아직 불확실하다고 정리했어요.
오해전문가들은 무엇이 가장 위험한지 모두 같은 생각이다.
실제로는지금 벌어지는 가짜 뉴스나 차별 같은 피해를 먼저 걱정하는 전문가도 있고, 앞으로 사람이 AI를 통제하기 어려워질 가능성을 먼저 걱정하는 전문가도 있어요. 생각이 갈리는 만큼 함께 확인하는 자리도 생겨서, 2024년 한국과 영국이 함께 연 서울 정상회의에서는 여러 나라가 AI 안전 연구소들을 하나의 연결망으로 묶기로 합의했어요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
AI 위험 논의에 IPCC형 국제 합의 문서라는 형식을 도입. 각국 규제 논의의 공통 사실 기반