코알라 오딧세이
|
대학교에서 생명과학과 빅데이터 분석을, 대학원에서 LLM을 공부했고 현재는 전문연구요원으로 AI 개발을 하며 살아가는 코알라입니다.
LLM/IT 기술, 전문연구요원 일상, AI 개발의 도전과 성취까지 — 그때그때의 경험과 생각을 솔직하게 나눕니다.
📌 Featured
AI
하네스가 사는 것은 토큰뿐? Claude Code·OpenCode·mini-SWE-agent를 같은 모델로 돌려본 논문
산둥대 Liu·Han의 논문 'What Does a Harness Buy? Tokens, Mostly.' 리뷰. 5개 모델을 Claude Code, mini-SWE-agent, OpenCode 세 하네스로 SWE-bench Verified에서 돌리고 같은 설정을 다시 돌려 비교했더니, 하네스를 바꿀 때 뒤집히는 과제 비율(13%)이 재실행 때와 같았고 과제당 비용만 최대 3배 갈렸다. 하네스 시리즈의 '반론 편'으로 실험 설계, 실패 유형, 비용 구조, 그리고 시리즈의 다른 논문과 어떻게 양립하는지를 정리한다.
AI
Dust: 역전파 없이 트랜스포머를 사전학습하다
Q Labs의 Dust 논문 리뷰. 가중치가 아니라 활성값(activation)에 노이즈를 주고, 토큰 하나하나를 '가상 개체군'으로 삼아 순전파만으로 트랜스포머를 학습합니다. 큰 population에서는 backprop을 넘어서기도 하는 결과를 정리합니다.
AI
AI 추론 비용 줄이기 — KV Cache 완전 정복
LLM 추론의 핵심 병목인 KV Cache의 원리부터 최신 최적화 기법(MLA, GQA, Sliding Window, Prefix Caching)까지 한 번에 정리합니다. vLLM PagedAttention과도 연결해서 설명합니다.