루프·하네스 엔지니어링

Hugging Face 사건이 비정렬 모니터를 켜지 않은 내부 사이버 보안 평가에서 시작됐다는 점을 빈틈으로 인정하고, 강화된 모니터로 그때 기록을 재현했더니 샌드박스 탈출 약 30분 만에 보안팀에 경보가 갔다고 밝혔다 — 실제로 외부 시스템이 침해되기까지 30시간 이상 남은 시점이다. 9월 실제 학습 실행에서는 격리된 모델이 인터넷에 닿는 방법을 찾아낸 것을 15분 안에 탐지하고 3분 뒤

검증·시험 점수를 들여다보지 않고 학습 기록만으로 갈아 줄 때를 정한다는 점이 설계의 핵심이다. 저자 보고로 벤치마크 11종 평균이 57.77에서 61.05로 약 3.3점 올랐고 새 과제 800개를 썼다. 자기개선 루프의 병목을 모델 능력이 아니라 과제가 낡는 속도로 놓은 접근이다

여러 역할을 이어 붙인 작업 구조를 조직도에 빗대 풀어낸 기록이다. 대화 하나를 담당 한 명의 책상으로 보고 역할을 갈라야 하는 이유를 한 창에 여러 일을 쌓으면 뒤로 갈수록 결과가 흐트러진다는 데서 찾지만, 나누는 순간 앞 담당의 결과를 뒤 담당에게 옮기는 배달이 사람 몫으로 남는다는 점을 정확히 짚는다. 품목이 하나면 세 번, 열 개면 서른 번이라 손을 덜려고 쓰는데도 계속 붙어 있게 되

자사 집계로 2025년 12월 표준을 공개한 뒤 ChatGPT·Cursor·GitHub Copilot·VS Code를 포함한 에이전트 플랫폼 70곳 이상이 붙었고 스킬 약 100만 개가 공개돼 약 2억 8,000만 번 설치됐다. 유지관리는 Anthropic·Google·OpenAI 등의 엔지니어가 회사 대표가 아닌 개인 자격으로 맡고 David Soria Parra·Mahesh Murag가

매번 고쳐 달라고 부탁하는 대신 그럴 필요가 없는 구조를 파일로 박아 두는 과정을 끝까지 따라 보인 실습이다. 구조는 여섯 갈래다. 말투와 디자인 위계를 적은 기준 문서, 전체 순서와 승인 지점과 산출물 경로를 묶은 규칙 문서, 단계별로 나눈 스킬, 사람이 보고 넘기는 승인 지점, 여백 같은 수치를 기계가 재는 자동 검사, 그리고 고정된 저장 경로다. 순서 설계에서 눈에 띄는 것은 비싼 단계

저자 측정으로 OSWorld-v2에서 평가한 모델 여덟 개의 평균 부분 점수가 19.6점 오르고, 화면 조작만 묶어 실행할 때보다 과제당 단계가 평균 53.0% 줄었다고 보고했다. 구현·프롬프트·평가 기록과 실제 기기용 하네스 초기판을 함께 공개했다

자사 측정으로 단독 Sol 52.1%가 팀을 이루자 61.8%로 올랐고, Sol 대표에 Luna 계획 담당 16명을 붙인 팀은 155달러로 61.8%를 내 모든 단계를 위임한 Sol 전원 팀(510달러·63.2%)의 약 30% 비용이었다. 팀은 단독보다 3~7배 비싸고 과제 하나의 점수가 실행마다 약 6점 흔들린다는 단서를 붙였다

명시한 가정 아래 기대 일반화 상계, 과거 회귀 예산에 조건부인 유지 상계, 새 독립 데이터로 수정안을 받아들이는 고확률 규칙을 제시. 실제 배포에는 학습·실행 권한·중대한 행동에 대한 독립 안전장치가 필요하다고 정리

한 단계만으로 GLM-5·Gemini 3.5 Flash가 기본 하네스보다 WorkBuddy-Bench 최대 11.5점, JobBench 4.5점, LAB 11.8%p 올랐다고 보고. 모델이 아니라 하네스를 스스로 고치는 재귀적 자기개선 연구가 이어짐

하네스 엔지니어링의 최적화 대상이 '무엇을 고치는가'에서 '무엇을 시험하는가'로 넓어졌다. 실패를 패턴으로 추상화해 커리큘럼을 자동 편성한다는 것은 에이전트 개선 루프에서 사람이 시나리오를 고르던 자리를 대체하는 일이고, 재귀적 자기개선(축⑫)과 맞닿는다.

속도가 별도 과금 등급으로 분리된 것이 핵심이다. 지연이 에이전트 루프의 병목이 되면 초당 토큰이 품질과 분리된 상품이 되고, 추론 인프라 투자는 최고 점수가 아니라 등급별 지연 보장으로 회수된다.

스킬을 하네스마다 새로 학습하는 대신 저장소에서 검색해 적응시킨다는 접근으로, 스킬이 모델·하네스에 묶인 산출물에서 이전 가능한 자산으로 바뀐다. 같은 주 ClawScan의 스킬 심사 강화와 함께 보면 스킬이 유통되는 물건이라는 전제가 양쪽에서 굳어지는 중이다.

에이전트를 '요청할 때 도는 세션'이 아니라 '계정에 상주하는 인격'으로 파는 첫 주요 상용 제품이다. 과금 단위가 토큰·좌석에서 에이전트 수로 옮겨 가고, 상시 가동은 권한·감사·격리 설계를 제품 쪽에서 강제한다 — 같은 주 OpenClaw Enterprise·Foundry 이그레스 제어와 같은 문제를 다른 층에서 건드린다.

무엇을 만들지가 흐릿할 때 시험부터 쓰기 어렵다는 약점을 메우려고, 코드보다 명세를 먼저 적는 방식이 제시됐다. 좋은 명세의 요건은 입출력과 겉으로 보이는 동작, 왜와 재어 볼 수 있는 성공 기준, 제약, 하지 않을 것의 경계, 드문 경우 다섯 가지이고, 처음부터 완벽히 쓰지 말고 열 줄 초안에서 서너 번 주고받아 키우라고 한다. 일은 단계로 쪼개 각각 떼어 낸 실행에 맡기고 상태와 요약만

에이전트가 '사람이 부를 때 도는 것'에서 '스스로 깨어나는 것'으로 넘어가는 운영 기반이 클라우드 제품의 GA가 됐다. 에이전트에 고유 ID를 주는 선택지가 함께 나온 점이 중요한데, 감사 로그의 주체가 사람이 아니라 에이전트가 되면 책임 추적의 단위가 바뀐다.

장기 과제에서 에이전트가 무너지는 원인을 '환경을 못 읽어서'가 아니라 '자기가 만든 낡은 상태 기술이 남아서'로 다시 놓았다. 하네스가 관리해야 할 대상이 도구 호출이 아니라 과제 상태의 수명이라는 뜻이며, 지난주 컴팩션 요약 인젝션 사례와 같은 문제 계열에 있다

기능을 더할수록 좋아지는지 물으며 모델은 그대로 두고 맥락 관리·계획·도구 구성만 바꿔 176개 설정을 돌린 결과가 정리됐다. 맥락 관리는 창이 32K일 때 성공률을 평균 35.7퍼센트포인트 올렸지만 128K로 넓히자 차이가 2.7퍼센트포인트로 줄어, 똑똑하게 만든 것이 아니라 끝까지 일하게 해 준 장치였다고 읽힌다. 계획 기능은 약한 모델의 성공률을 13.6%에서 25.2%로 올렸지만 강한

자기개선의 대상이 모델 가중치가 아니라 하네스 설정이라는 점이 핵심 — 같은 모델로 비용만 3분의 1 줄이는 여지가 아직 남아 있다는 실측이다.

'하네스는 모델이 강해질수록 얇아져야 한다'를 176개 구성의 실측으로 뒷받침. 축⑤ 루프·하네스 엔지니어링의 설계 지침이 경험칙에서 근거로 옮겨가는 지점이다.

컨텍스트 압축 요약이 모델이 자기 자신에게 남기는 통로라는 점 — 프롬프트 인젝션의 공격자가 외부가 아니라 모델 자신일 수 있음을 프론티어 랩이 처음 수치와 함께 공개했다. 장기 실행 에이전트를 운영하는 쪽에는 요약·메모리 경로가 곧 신뢰 경계라는 뜻이다.

넉 달 전 도구를 용도별로 나눠 썼다던 결론을 공개적으로 정정하면서, 지금은 절차를 강제하는 플러그인을 모두 떼고 생각 강도 한 칸만 조절한다는 정리가 제시된다. 설정 파일에 모델 한 줄과 강도 한 줄만 남긴 이유는 모델이 지금 무엇을 하는지 눈에 보이게 하기 위해서이며, 틀에 감싸 두면 그 틀이 하는 일을 자기도 모르게 된다는 지적이 붙는다. 대신 결정·이유·버린 대안 세 줄짜리 결정 기록

하네스 자기개선의 고질적 문제인 '벤치마크에만 맞춰지는 것'을 데이터 분리로 정면 공격. 하네스가 모델과 분리된 독립 최적화 대상이 되었음을 보여준다.

에이전트 하네스가 제품 기능에서 플랫폼 계약으로 굳어진 지점으로, 루프·샌드박스·서브에이전트 위임이 API 원시 기능이 됐다.

에이전트 과금이 요청 문장의 길이가 아니라 실제 실행 경로의 길이에 붙는다는 정리가 제시된다. 일정 하나를 등록하는 한 문장 요청도 뒤에서는 예약 조회, 화면 읽기, 입력, 저장 확인, 실패 시 재시도로 이어지며, 화면이 바뀔 때마다 새 정보가 통째로 들어가므로 컴퓨터 유즈 비용은 클릭 수가 아니라 화면 정보량과 판단 횟수에 비례해 늘어난다. 절약의 핵심은 프롬프트를 줄이는 것이 아니라 계단

코딩 에이전트의 전장이 신규 개발에서 기업 핵심 자산인 레거시 현대화로 옮겨 갔고, 검증 하니스와 인간 게이트의 결합이 실무 형태로 굳어지고 있음을 보여준다.

11일 만에 1,300만 줄짜리 증명 코드가 만들어졌다는 소식에서 먼저 걷어내야 할 오해는 오래된 난제가 풀렸다는 것이다. 증명 자체는 1994년에 사람이 끝냈고 이번에 이뤄진 것은 사람 언어로 쓰인 증명을 기계가 한 줄씩 검사할 수 있는 코드로 옮기는 형식화다. 논문의 "자명하다" 한 줄이 코드 수백 줄로 불어나기 때문에 수학계에서 몇 년짜리 프로젝트로 보던 일이었는데, 목표를 보조정리로

매일 여덟 시간씩 두 도구를 붙잡고 쓰는 사람이 무엇을 보고 주력을 바꿨는지 항목별로 근거를 대는 비교다. 평가 방법이 하나로 압축되는데, 파일 열 개를 같은 규칙으로 고치게 시켜 여덟아홉 번째에서 처음 규칙을 놓치는지 보는 것이고 여기서 갈린다는 것이다. 더 중요한 판정 기준으로는 성능이 아니라 손이 덜 가는 정도가 제시된다. 모델이 스스로 돌려 보고 깨지면 고친 뒤 결과를 내놓기 시작하면

전문 3D 제작 도구를 익히지 않은 사람이 연동 창구 하나만 붙여 하루 동안 써 본 기록이다. 미뤄 온 이유를 실력이 아니라 복잡한 화면과 기능을 하나씩 익혀야 하는 부담으로 특정하고, 한 벤더가 무료로 배포한 연동 모듈이 그 숙련 요건을 건너뛰게 했다고 제시된다. 더 옮겨 쓸 만한 것은 비용 순서인데, 호출마다 요금이 붙는 생성 모델을 바로 때리지 말고 요금이 붙지 않는 로컬 반복으로 구도

Herdr는 Orca보다 훨씬 가벼운 원격 터미널 서버로, 터미널만 있으면 리눅스 VM에도 쉽게 설치되고 Ghostty를 꺼도 세션이 그대로 살아 있다. 이를 Grok Bot의 가상 머신에 얹으면 맥북 전원과 무관하게 스마트폰만으로 코딩 에이전트를 상시 운영할 수 있다. Grok Bot에게 Codex·Cursor·Hermes·Claude·Grok과 Ghostty·Herdr 설치를 통째로 요청

400개 이상의 프로덕션 에이전트 경험에서 정리됐다는 12-레이어 스택은, 가상의 응급실 트리아지 에이전트에서 각 레이어를 boolean 플래그로 켜고 끄며 실패를 재현하는 방식으로 이해하면 명확하다. 데이터 이해 레이어가 없으면 알레르기 필드가 누락된 채 결정이 내려지고, 컨텍스트 엔지니어링이 없으면 29세와 68세 환자에게 같은 추천이 나오며, 시맨틱 레이어가 없으면 MI 같은 약어가 해

LLM이 뽑아낸 그래프 간선을 그대로 믿지 않고 반사실 개입으로 간선 가중치를 사후 보정한다는 갈래 — 그래프 검색의 고질적 약점으로 지목돼 온 간선 신뢰도 문제를 검색 이전 단계에서 다룬다. 저자 자체 보고로 6개 LLM에 걸쳐 Graph-of-Skills 대비 ScienceWorld 매크로 평균 72.62→80.50, ALFWorld 성공률 80.01%→86.79%이며 환경 스텝 수는 감

Hermes 기반 개인용 멀티에이전트는 소프트웨어를 자율 빌드하는 Coder, Telegram 생산성·건강 코치 LifeBot, 팀 COO 역할의 Taco Bot을 역할별로 분리한 구성이다. Coder는 Mac Studio의 로컬 Qwen 3.6 35B A3B 모델이 Discord 봇을 맡고 스펙 작성과 빌드는 Claude Code를 호출해 위임하는 우회 구조로, Claude 유료 플랜을 A

Codex CLI·app-server·SDK·MCP 오픈소스화로 하네스가 플랫폼 계층으로 확정

inner loop 대 outer loop 프레이밍이 산업 표준 서사로 승격

루프 엔지니어링의 대중적 정의 확립

루프는 검증 가능하고 수명 짧은 작업엔 유효하나 유지보수 코드엔 취약하다는 대표적 비판

엔터프라이즈 관점에서 관측성과 거버넌스까지 하네스에 포함

용어 다의성을 학술적으로 문제화, 모델 순응에 의존하지 않는 통제 기제를 조건으로 제시

loop engineering 용어의 확립, 프롬프트 작성자에서 루프 설계자로의 역할 전환

하네스가 컨텍스트 엔지니어링의 전달 수단이라는 포함관계 입장

하네스 유발 분산이 모델 유발 분산의 7.80배, 9개 모델쌍 중 6개 순위 역전

vibe coding 확산의 핵심 정리자가 2026년 코딩 담론의 두 축 구분 자체가 무너지고 있음을 선언

AI 에이전트에서 모델을 제외한 모든 것이라는 사용자 관점 정의의 표준 문헌

Planner-Generator-Evaluator 3에이전트, 단일 에이전트 20분 9달러 대 풀 하네스 6시간 200달러

하네스 엔지니어링을 컨텍스트 엔지니어링의 부분집합으로 규정, context firewall과 back-pressure 개념

감사 대상 문제의 최소 59.4%가 결함 테스트, 벤더가 벤치마크 하네스의 신호 오염을 인정

guides/sensors 곱하기 computational/inferential 프레임의 최초 제시

약 100만 줄 규모 내부 제품을 전량 Codex 작성으로, 5개월간 엔지니어 3~7명이 약 1,500 PR 머지

용어의 대중화 기점, AI 도입 6단계 중 5단계가 Engineer the Harness

방법론 변경만으로 수치가 움직인다는 것을 발행 기관이 스스로 보여준 사례. 최상위 모델 50% 시간지평 약 5.3시간은 이 개정판 기준이며 이전 판과 직접 비교할 수 없다

하네스를 운영체제로 보는 정의 갈래의 1차 출처

하네스 인터페이스가 벤더 경쟁물에서 공용 인프라로 이관, AGENTS.md 채택 6만+ 프로젝트

커뮤니티 발 루프 패턴의 벤더 공식화

Claude Agent SDK를 범용 agent harness로 명시, 프런티어 랩이 harness를 정식 용어로 채택한 분기점

compaction·structured note-taking·sub-agent·just-in-time retrieval 4패턴 명명

prompt engineering의 세대교체를 동시대 기록으로 확정

컨텍스트를 매 반복 폐기하고 상태를 git과 파일에 두는 루프 엔지니어링의 원형

벤치마크 점수가 아닌 자율 수행 시간이라는 새 좌표계를 제시

용어가 대중화 이전 평가 커뮤니티에서 먼저 쓰였음이 전문에서 확인