AI가 배운 자료의 치우침 때문에 답이 한쪽으로 기우는 현상이에요.
AI는 일부러 누군가를 차별하려는 마음이 없어요. 하지만 배운 자료가 특정 성별이나 피부색, 지역 쪽으로 치우쳐 있으면 답도 그쪽으로 기울어요. 이렇게 AI의 판단이 어느 한쪽으로 쏠리는 걸 편향이라고 해요.
2018년 '젠더 셰이즈' 연구에서는 얼굴 사진으로 성별을 맞히는 상용 프로그램들이 피부색이 어두운 여성에게서 가장 많이 틀렸어요. 채용이나 대출처럼 사람을 고르는 일에 AI를 쓰면 이런 치우침이 실제 피해로 이어질 수 있어요. 그래서 자료를 고르게 모으고, 집단별로 결과를 따로 재 보는 방법을 써요.
비유로 보면
급식 메뉴를 정하는데 매운 음식을 좋아하는 반에서만 설문을 받았다고 해 봐요. 그렇게 정한 메뉴는 다른 반 학생들 입맛엔 안 맞겠죠. AI도 일부 사람들의 자료로만 배우면 나머지 사람들에게는 엉뚱한 답을 내기 쉬워요.
예를 들면
'의사' 그림을 그려 달라고 할 때마다 비슷한 성별과 나이의 사람만 나온다면 편향을 의심해 볼 수 있어요.
자주 하는 오해
오해AI가 한쪽으로 기운 답을 내는 건 차별하려는 마음이 있어서다.
실제로는마음이 없어도 과거 기록을 그대로 배우면 과거의 치우침을 따라 해요. 예전 합격자 명단으로 '좋은 지원자'를 배우게 하면, 예전에 덜 뽑혔던 사람들을 또 덜 뽑게 될 수 있어요.
오해전체 정확도가 높으면 누구에게나 정확하다.
실제로는시험 자료의 95%가 한 집단이라면, 나머지 5%에 속한 사람은 모두 틀리게 판단해도 전체 정확도는 95%까지 나올 수 있어요. 정확도 숫자를 볼 때는 '누구로 시험했나'를 함께 물어보세요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
- 질문
- AI가 그린 '의사', '요리사', '과학자'에는 누가 자주 나오고 누가 빠져 있을까요?
- 활동
- 모둠마다 직업 하나를 골라 그림 AI에 같은 요청을 다섯 번 해 보고, 나온 사람의 나이·성별처럼 보이는 특징을 표에 세어요(실제 사람 사진은 쓰지 않아요). 표를 반 전체에 모아 치우침이 보이는지 이야기하고, 그 치우침이 채용처럼 사람을 고르는 일에 쓰이면 어떤 피해로 이어질지 적어 봐요. 콜로라도 기록(E0370)이 무엇을 의무로 정했는지도 읽어요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
미국 첫 포괄 주 AI법으로 널리 인용되나 의무 조항은 한 번도 집행되지 않음 — 2025-08-28 서명된 SB 25B-004가 적용일을 2026-06-30으로 미뤘고, 2026-05-14 서명된 SB 26-189가 해당 조항을 폐지·재제정해 2027-01-01부터 적용되는 자동화 의사결정기술(ADMT) 규정으로 대체