#Harness

AI / AGENT

UC Irvine·Rice·Zillow의 Hippo 논문 리뷰. 모델 파라미터도 하네스 코드도 건드리지 않고 외부 메모리만 갱신해 에이전트를 진화시킨다. 같은 과제를 8번 돌려 실패하거나 '운 좋게 맞은' 시도만 반성하고(선택적 부호화), 시도들을 대조해 뽑은 경험을 기존 메모리와 병합·삭제한다(해마 재생). SWE-bench Verified·WebArena·Mind2Web 수치, 메모리를 쌓기만 하면 무기억보다 나빠지는 역U 곡선, '그냥 다시 시도' 기준선, 그리고 과제 순서와 심판 공유 같은 비판적 읽기까지 정리한다.

AI / AGENT

Microsoft·UC Berkeley의 TokenEconomizer 논문 리뷰. 같은 저장소에서 과제를 이어 풀 때 코딩 에이전트가 반복하는 낭비(다시 알아내는 명령, 안 쓰는 도구 23개 중 16개, 전체 비용의 32%를 먹는 실패 17%)를 trace로 재고, 마이크로 스킬·도구 가지치기·실패 루프 개입 세 가지를 하네스 바깥의 블랙박스 플러그인으로 붙여 Claude Code·Codex·Copilot CLI에서 비용 18.4~30.9%를 줄인 결과를 정리한다. 8편 '하네스가 사는 건 토큰뿐'의 후속으로, 모델과 하네스를 건드리지 않고 청구서를 줄이는 방법과 그 한계를 비판적으로 읽는다.

AI / AGENT

산둥대 Liu·Han의 논문 'What Does a Harness Buy? Tokens, Mostly.' 리뷰. 5개 모델을 Claude Code, mini-SWE-agent, OpenCode 세 하네스로 SWE-bench Verified에서 돌리고 같은 설정을 다시 돌려 비교했더니, 하네스를 바꿀 때 뒤집히는 과제 비율(13%)이 재실행 때와 같았고 과제당 비용만 최대 3배 갈렸다. 하네스 시리즈의 '반론 편'으로 실험 설계, 실패 유형, 비용 구조, 그리고 시리즈의 다른 논문과 어떻게 양립하는지를 정리한다.

AI / AGENT

UCSB와 Microsoft의 ScholarEvolve 논문 리뷰. 자기 개선 에이전트가 제안을 만드는 원천을 '자기 실패 로그'에서 '학술 문헌'으로 바꾼다. 하네스를 5개 모듈로 나누고, 실패 감사 → 역량 격차 → arXiv 검색 → 토픽 모델링 → 논문 읽고 구현 → 모듈 교차 → 검증 세트 채택이라는 유전 알고리즘식 루프를 돈다. AppWorld·tau-Bench 수치, 3라운드 평생 진화, ablation, 그리고 논문이 다루지 않는 보안·비용 문제까지 정리한다.

AI / AGENT

Microsoft Research가 2026년 10월 24일 MIT 라이선스로 공개한 자기조직화 멀티에이전트 하네스 Agensh(arXiv 2609.26781)를 1차 출처로 정리한다. 오케스트레이터 없이 Gitea·Mattermost·공유 컨텍스트 보드 위에서 동일한 프롬프트를 받은 워커들이 작업을 claim하고 머지하는 5단계 협업 루프, ProgramBench 최난이도 5개 과제에서 1→128 에이전트가 19.31%→28.78%, pandoc 1→1,024가 33.89%→55.06%를 기록한 조건, 8/32/128/1,024개 규모에서 관찰된 창발적 리뷰·integrator 역할, 그리고 동일 비용 비교가 아니라는 한계와 재현 요구사항까지 다룬다.

AI / AGENT

Google Cloud AI Research의 Harness² 논문 리뷰와 공개 코드 실행기. 하네스가 설계 분포 밖의 과제에서 깨지는 open-world 문제를 두 층의 재귀로 푼다. 과제 수준에서는 정답 피드백 없이 Propose–Probe–Compose로 편집을 검증하고, 하네싱 수준에서는 채택된 하네스와 교훈을 개선 하네스에 축적한다. 8개 편집 가능 컴포넌트, 병렬·순차 재귀, 세 벤치마크 수치, 그리고 macOS에서 데모를 직접 돌려본 결과와 보안 주의까지 정리한다.

AI / AGENT

2026년 6월 Steinberger·Cherny·Osmani의 발언으로 퍼진 '루프 엔지니어링'을 1차 출처로 정리한다. 프롬프트→컨텍스트→하네스→루프로 이어지는 계보, 하네스와 루프의 경계, Ralph Wiggum bash 루프가 통한 이유, 트리거·검증자·종료 규칙·가드레일 구성 요소, Claude Code /loop·/goal과 Codex /goal의 실제 범위, 그리고 '리뷰 가능한 근거 없이 퍼진 개념'이라는 arXiv 논문의 지적과 36,710개 저장소 마이닝 결과까지 다룬다.

AI / AGENT

Google의 RRSI 논문 리뷰. 에이전트 하네스를 LLM이 반복 편집하는 재귀적 자기 개선은 진화 세트에 과적합되기 쉽다. 시간에 따라 줄어드는 편집 예산, 정체 시 탐험 유도, 누수 비평가와 노이즈·비용 기준의 선별, 구조 가지치기로 검색을 정규화해 8개 벤치마크에서 OOD 전이와 토큰 효율을 동시에 얻은 결과를 정리한다.

AI / AGENT

EverMind AI의 Raven 논문 리뷰. 실행 가능한 모델-하네스 쌍을 조합 단위로 보고, Host Agent가 목표를 DAG로 분해해 전문 에이전트에 배정하며, host archive·EverOS·Skill Forge로 경험을 축적한다. 조합이 task coverage를 넓히는 이론적 조건과 장기 과제 벤치마크 결과까지 정리한다.