AI가 한 번에 읽고 붙잡아 둘 수 있는 글의 양이에요.
AI는 대화를 머릿속에 저장해 두지 않아요. 답할 때마다 지금까지의 대화, 붙여 넣은 글, 자기가 쓴 답까지 통째로 다시 읽어요. 이렇게 한 번에 읽을 수 있는 최대 분량을 컨텍스트 창이라고 하고, 토큰 수로 세요.
창이 가득 차면 앱에 따라 오래된 내용부터 밀려나거나 잘려요. 그래서 긴 대화에서 AI가 앞에서 한 말을 잊은 것처럼 보여요. 창은 빠르게 커져서 2023년에 약 10만 토큰, 2024년에는 약 100만 토큰짜리 모델까지 나왔어요.
하지만 창이 크다고 다 잘 읽는 건 아니에요. 긴 글의 가운데 있는 내용을 더 자주 놓친다는 연구도 있어요. 중요한 말은 한 번 더 짚어 주는 게 좋아요.
비유로 보면
수업 시간 칠판을 떠올려 보세요. 칠판이 꽉 차면 선생님은 맨 처음 쓴 부분부터 지우고 새로 써요. 지워진 내용은 아무리 중요했어도, 지금 칠판만 보는 학생에게는 보이지 않아요.
예를 들면
아주 긴 대화 끝에 '처음에 말한 내 이름 기억해?'라고 물으면, 그 부분이 창 밖으로 밀려나 답을 못 할 수 있어요.
자주 하는 오해
오해AI는 대화를 기억 장치에 저장해 두었다가 꺼내 본다.
실제로는따로 기억 기능을 켜 두지 않았다면, 새 대화창의 AI는 앞 대화를 전혀 몰라요. 또 대화가 길어질수록 답할 때마다 다시 읽을 양이 늘어서, 답이 느려지거나 이용 한도가 빨리 차기도 해요.
오해창이 크면 긴 글을 빠짐없이 잘 읽는다.
실제로는2023년 'Lost in the Middle' 연구에서는 필요한 내용이 글의 맨 앞이나 맨 끝에 있을 때 가장 잘 찾고, 가운데 있을 때 성적이 떨어지는 U자 모양이 나왔어요. 긴 자료를 줄 때는 핵심 자료를 가운데에 묻지 말고, 할 질문은 맨 끝에 적어 주세요.
수업에서 써 보기
선생님은 수업 시작에, 학생은 혼자 공부할 때 써 보세요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
롱컨텍스트를 넣기만 하면 된다는 가정에 대한 첫 대규모 반증
롱 컨텍스트 경쟁의 출발 신호탄, RAG 없이 문서를 통째로 넣는 선택지의 현실화