글

Balestriero & LeCun의 논문 리뷰. 서로 다른 모달리티에서 따로 학습한 JEPA가 '같은 장면의 두 관찰(good views)'을 양성 쌍으로 쓰면 회전 하나 차이로 같은 표상을 배운다는 정리를 증명하고, next-token prediction은 bad-view JEPA라고 보인다. 같은 코퍼스에서 42배 적은 샘플로 같은 정렬, 109M JEPA가 PRH 벤치마크에서 Qwen2.5-72B를 앞서는 결과와 논문이 스스로 적은 한계를 정리한다.

UC Irvine·Rice·Zillow의 Hippo 논문 리뷰. 모델 파라미터도 하네스 코드도 건드리지 않고 외부 메모리만 갱신해 에이전트를 진화시킨다. 같은 과제를 8번 돌려 실패하거나 '운 좋게 맞은' 시도만 반성하고(선택적 부호화), 시도들을 대조해 뽑은 경험을 기존 메모리와 병합·삭제한다(해마 재생). SWE-bench Verified·WebArena·Mind2Web 수치, 메모리를 쌓기만 하면 무기억보다 나빠지는 역U 곡선, '그냥 다시 시도' 기준선, 그리고 과제 순서와 심판 공유 같은 비판적 읽기까지 정리한다.

Microsoft·UC Berkeley의 TokenEconomizer 논문 리뷰. 같은 저장소에서 과제를 이어 풀 때 코딩 에이전트가 반복하는 낭비(다시 알아내는 명령, 안 쓰는 도구 23개 중 16개, 전체 비용의 32%를 먹는 실패 17%)를 trace로 재고, 마이크로 스킬·도구 가지치기·실패 루프 개입 세 가지를 하네스 바깥의 블랙박스 플러그인으로 붙여 Claude Code·Codex·Copilot CLI에서 비용 18.4~30.9%를 줄인 결과를 정리한다. 8편 '하네스가 사는 건 토큰뿐'의 후속으로, 모델과 하네스를 건드리지 않고 청구서를 줄이는 방법과 그 한계를 비판적으로 읽는다.

UC Berkeley·MIT·UT Austin 팀의 FreeToken 논문 리뷰. 호스트 메모리에 전문가 풀을 두고 GPU는 전역 LRU 캐시로 쓰되, 캐시 미스를 PCIe 전송과 CPU 직접 실행으로 나누는 비율을 기계에서 측정한 두 대역폭으로 닫힌 형태로 정한다. RTX 5090에서 Qwen3.6-35B 77~83 tok/s, DeepSeek-V4-Flash 22~25 tok/s로 llama.cpp·KTransformers 대비 1.5~2.3배를 기록한 결과와, 같은 시리즈의 Edge0(SSD 스트리밍 + 라우팅 예측)과의 차이를 정리한다.

럿거스대 Zhao·Lin 등의 논문 'Metacognitive Decoding: Efficient Inference for Diffusion Language Agents' 리뷰. 마스크 확산 언어 모델이 어떻게 텍스트를 만드는지(병렬 디노이징, 블록, 스텝 수와 품질)부터 짚고, 얼어붙은 확산 백본 위에 2층 Transformer 컨트롤러를 얹어 어떤 토큰을 확정할지와 블록의 몇 칸을 계산할지를 GRPO로 학습시킨 방법, BFCL·멀티홉 QA 5개 벤치마크에서 가장 효율적인 베이스라인 대비 FLOPs 20.6% 절감이라는 수치의 실제 구성을 뜯어본다.

바이두의 Unlimited OCR Works(arXiv 2606.23050)와 샤오미의 Xiaomi-OCR-0 기술 보고서(arXiv 2609.36136)를 함께 읽는다. 전자는 DeepSeek-OCR의 디코더 어텐션을 전부 R-SWA로 바꿔 KV 캐시를 상수로 묶고 수십 페이지를 한 번에 읽게 했고, 후자는 0.8B 모델에 1.7억 샘플 데이터 엔진과 Mix-RL을 얹어 OmniDocBench v1.6 96.83을 냈다. 긴 문서가 왜 VLM OCR을 무너뜨리는지, 두 논문이 각각 어느 축을 밀었는지, MinerU2.5와의 3자 비교, 한계를 정리한다.

Google DeepMind가 2026년 10월 27일 공개한 월드 모델 Genie 4를 공식 블로그·모델 페이지 기준으로 정리한다. Genie 3 대비 무엇이 더해졌는지(네이티브 오디오, 실시간 자연어 편집, Gemini 결합), 공개되지 않은 것(해상도·fps·파라미터·학습 데이터), 그리고 '로봇 학습 환경'이라는 주장을 H-JEPA와 VLA 데이터 구성에 비추어 어디까지 믿을 수 있는지 따진다.

VLA(Vision-Language-Action) 시리즈 1편. 모방학습과 언어 조건 정책에서 출발한 로봇 학습이 어떻게 RT-1(3,500만 파라미터 트랜스포머)을 거쳐 RT-2(VLM을 그대로 로봇 정책으로 쓰는 모델)에 이르렀는지, 왜 '행동을 텍스트 토큰으로' 표현하는 한 가지 선택이 인터넷 지식을 로봇 팔로 옮겨 왔는지 정리한다. 2026년 11월 시점의 모델 지형과 6편 로드맵도 담았다.

VLA 모델을 부품 단위로 뜯어본다. VLM 백본과 관측 인코딩, 액션을 이산 토큰(binning·FAST)으로 낼지 연속값(diffusion·flow matching)으로 낼지, 액션 헤드를 백본에 붙이는 방식(OpenVLA·Octo·π0 action expert·GR00T N1 dual-system), 액션 청킹과 추론 주파수까지 논문 수치로 비교한다.

2023년 RT-2부터 2026년 GR00T N1.7, Gemini Robotics 2, Galaxea G0.5까지 로봇 파운데이션 모델의 계보를 한 장의 비교표로 정리한다. 각 모델의 백본, 파라미터, 액션 헤드, 가중치 공개 여부와 라이선스를 논문·공식 모델 카드에서 확인한 수치로만 적었고, 세 갈래(디스크리트 토큰 → 플로우 매칭 액션 익스퍼트 → 다시 단일 자기회귀 스트림)로 갈라지는 설계 흐름을 따라간다.