정리 노트루프·하네스 엔지니어링
레이어를 하나씩 꺼 보면 에이전트가 왜 무너지는지 보인다
400개 이상의 프로덕션 에이전트 경험에서 정리됐다는 12-레이어 스택은, 가상의 응급실 트리아지 에이전트에서 각 레이어를 boolean 플래그로 켜고 끄며 실패를 재현하는 방식으로 이해하면 명확하다. 데이터 이해 레이어가 없으면 알레르기 필드가 누락된 채 결정이 내려지고, 컨텍스트 엔지니어링이 없으면 29세와 68세 환자에게 같은 추천이 나오며, 시맨틱 레이어가 없으면 MI 같은 약어가 해소되지 않는다. 루프 엔지니어링은 모델이 알레르기 정보를 받았는가가 아니라 생성 결과가 그것을 실제로 존중했는가를 검증→실패→교정→재생성 흐름으로 다루고, 평가 엔지니어링은 한 사례 수정이 아닌 케이스 집합의 통과율(데모에서 22%→100%)을 본다. 하네스 엔지니어링은 설정·모델 버전·검색 컨텍스트·툴 호출까지 실행 전체를 재현·추적하고, 인프라 엔지니어링은 툴 타임아웃 같은 외부 장애에 재시도·폴백·에스컬레이션으로 살아남는 방식이다. 도구는 계속 바뀌지만 시스템은 좀처럼 바뀌지 않는다는 것이 이 스택의 요지다.
기억할 것
- 컨텍스트 엔지니어링은 정보를 줬는가, 루프 엔지니어링은 결과가 그것을 지켰는가
- 평가는 케이스 단위 통과율, 하네스는 실행 전체의 재현과 추적으로 구분
- 인프라 레이어는 에이전트 판단이 맞아도 외부 툴이 죽었을 때를 대비한다
- 지속 학습은 반복 실패 패턴 탐지→개선안→사람 승인→회귀 테스트 순환
이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 사실 확인이 된 사건은 기록에 따로 있어요.