#논문리뷰
47개의 글RSS
AI / ML
플라톤적 표상 가설을 정리로: JEPA의 '좋은 뷰'가 모달리티를 회전 하나로 맞춘다14분Balestriero & LeCun의 논문 리뷰. 서로 다른 모달리티에서 따로 학습한 JEPA가 '같은 장면의 두 관찰(good views)'을 양성 쌍으로 쓰면 회전 하나 차이로 같은 표상을 배운다는 정리를 증명하고, next-token prediction은 bad-view JEPA라고 보인다. 같은 코퍼스에서 42배 적은 샘플로 같은 정렬, 109M JEPA가 PRH 벤치마크에서 Qwen2.5-72B를 앞서는 결과와 논문이 스스로 적은 한계를 정리한다.
AI논문리뷰JEPAPlatonic Representation HypothesisRepresentation LearningSelf-Supervised LearningScaling LawYann LeCunAI / AGENT
Hippo: 하네스 대신 기억을 고친다, 해마 재생에서 빌려온 학습 없는 에이전트 자기 진화15분UC Irvine·Rice·Zillow의 Hippo 논문 리뷰. 모델 파라미터도 하네스 코드도 건드리지 않고 외부 메모리만 갱신해 에이전트를 진화시킨다. 같은 과제를 8번 돌려 실패하거나 '운 좋게 맞은' 시도만 반성하고(선택적 부호화), 시도들을 대조해 뽑은 경험을 기존 메모리와 병합·삭제한다(해마 재생). SWE-bench Verified·WebArena·Mind2Web 수치, 메모리를 쌓기만 하면 무기억보다 나빠지는 역U 곡선, '그냥 다시 시도' 기준선, 그리고 과제 순서와 심판 공유 같은 비판적 읽기까지 정리한다.
AI논문리뷰AgentHarness자기개선메모리에이전트설계LLMSWE-benchWebArenaAI / AGENT
모델은 그대로, 청구서만 줄이기: TokenEconomizer가 코딩 에이전트의 토큰 낭비를 잡는 법14분Microsoft·UC Berkeley의 TokenEconomizer 논문 리뷰. 같은 저장소에서 과제를 이어 풀 때 코딩 에이전트가 반복하는 낭비(다시 알아내는 명령, 안 쓰는 도구 23개 중 16개, 전체 비용의 32%를 먹는 실패 17%)를 trace로 재고, 마이크로 스킬·도구 가지치기·실패 루프 개입 세 가지를 하네스 바깥의 블랙박스 플러그인으로 붙여 Claude Code·Codex·Copilot CLI에서 비용 18.4~30.9%를 줄인 결과를 정리한다. 8편 '하네스가 사는 건 토큰뿐'의 후속으로, 모델과 하네스를 건드리지 않고 청구서를 줄이는 방법과 그 한계를 비판적으로 읽는다.
AI논문리뷰AgentHarnessClaude CodeCodexSWE-bench코딩에이전트비용MicrosoftAI / Inference
FreeToken: 대역폭 적응 실행으로 엣지에서 MoE 서빙하기 — 미스를 '옮길지, 그 자리에서 계산할지'를 기계가 정한다16분UC Berkeley·MIT·UT Austin 팀의 FreeToken 논문 리뷰. 호스트 메모리에 전문가 풀을 두고 GPU는 전역 LRU 캐시로 쓰되, 캐시 미스를 PCIe 전송과 CPU 직접 실행으로 나누는 비율을 기계에서 측정한 두 대역폭으로 닫힌 형태로 정한다. RTX 5090에서 Qwen3.6-35B 77~83 tok/s, DeepSeek-V4-Flash 22~25 tok/s로 llama.cpp·KTransformers 대비 1.5~2.3배를 기록한 결과와, 같은 시리즈의 Edge0(SSD 스트리밍 + 라우팅 예측)과의 차이를 정리한다.
AI논문리뷰LLMMoE추론최적화엣지서빙CPU-GPU하이브리드온디바이스llama.cppAI / LLM
확산 언어 모델 에이전트의 메타인지 디코딩: 토큰을 언제 확정하고 어디서 멈출지 배우는 플러그인14분럿거스대 Zhao·Lin 등의 논문 'Metacognitive Decoding: Efficient Inference for Diffusion Language Agents' 리뷰. 마스크 확산 언어 모델이 어떻게 텍스트를 만드는지(병렬 디노이징, 블록, 스텝 수와 품질)부터 짚고, 얼어붙은 확산 백본 위에 2층 Transformer 컨트롤러를 얹어 어떤 토큰을 확정할지와 블록의 몇 칸을 계산할지를 GRPO로 학습시킨 방법, BFCL·멀티홉 QA 5개 벤치마크에서 가장 효율적인 베이스라인 대비 FLOPs 20.6% 절감이라는 수치의 실제 구성을 뜯어본다.
AI논문리뷰LLMDiffusion LMdLLMLLaDAAgent추론최적화Tool UseAI / LLM
긴 문서 OCR의 두 갈래: Unlimited OCR Works의 상수 메모리와 Xiaomi-OCR-0의 소형 문서 VLM13분바이두의 Unlimited OCR Works(arXiv 2606.23050)와 샤오미의 Xiaomi-OCR-0 기술 보고서(arXiv 2609.36136)를 함께 읽는다. 전자는 DeepSeek-OCR의 디코더 어텐션을 전부 R-SWA로 바꿔 KV 캐시를 상수로 묶고 수십 페이지를 한 번에 읽게 했고, 후자는 0.8B 모델에 1.7억 샘플 데이터 엔진과 Mix-RL을 얹어 OmniDocBench v1.6 96.83을 냈다. 긴 문서가 왜 VLM OCR을 무너뜨리는지, 두 논문이 각각 어느 축을 밀었는지, MinerU2.5와의 3자 비교, 한계를 정리한다.
AI논문리뷰OCR문서파싱VLMKV캐시OmniDocBenchDeepSeek-OCRXiaomiAI / AGENT
텍스트 대신 KV 캐시를 주고받는 에이전트: SwaT(Swarm Telepathy) 논문 리뷰14분MIT CSAIL·MIT-IBM 연구진의 논문 'Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families' 리뷰. 서로 다른 계열의 두 LLM을 고정한 채 약 3억 파라미터의 번역기(SwaT)만 학습해 송신 모델의 KV 캐시를 수신 모델의 캐시 공간으로 옮긴다. 수신 모델은 텍스트를 다시 prefill하지 않고, 캐시 압축(AM)과 결합하면 텍스트 요약 전달보다 평균 40% 높은 점수와 약 4배 빠른 속도를 보고한다. 6개 계열 12개 모델·17개 벤치마크 실험과 이미지·중국어 지식 전이, 그리고 모델 쌍마다 번역기가 필요하다는 한계를 정리한다.
AI논문리뷰AgentMulti-AgentKV CacheLLM 추론MITLatent CommunicationAI / AGENT
하네스가 사는 것은 토큰뿐? Claude Code·OpenCode·mini-SWE-agent를 같은 모델로 돌려본 논문12분산둥대 Liu·Han의 논문 'What Does a Harness Buy? Tokens, Mostly.' 리뷰. 5개 모델을 Claude Code, mini-SWE-agent, OpenCode 세 하네스로 SWE-bench Verified에서 돌리고 같은 설정을 다시 돌려 비교했더니, 하네스를 바꿀 때 뒤집히는 과제 비율(13%)이 재실행 때와 같았고 과제당 비용만 최대 3배 갈렸다. 하네스 시리즈의 '반론 편'으로 실험 설계, 실패 유형, 비용 구조, 그리고 시리즈의 다른 논문과 어떻게 양립하는지를 정리한다.
AI논문리뷰AgentHarnessClaude CodeOpenCodeSWE-bench코딩에이전트비용AI / AGENT
ScholarEvolve: 실패 로그 대신 논문을 읽고 하네스를 진화시키는 에이전트17분UCSB와 Microsoft의 ScholarEvolve 논문 리뷰. 자기 개선 에이전트가 제안을 만드는 원천을 '자기 실패 로그'에서 '학술 문헌'으로 바꾼다. 하네스를 5개 모듈로 나누고, 실패 감사 → 역량 격차 → arXiv 검색 → 토픽 모델링 → 논문 읽고 구현 → 모듈 교차 → 검증 세트 채택이라는 유전 알고리즘식 루프를 돈다. AppWorld·tau-Bench 수치, 3라운드 평생 진화, ablation, 그리고 논문이 다루지 않는 보안·비용 문제까지 정리한다.
AI논문리뷰AgentHarness자기개선에이전트설계LLMMicrosoftAI / AGENT
Agensh: 중앙 관리자 없이 1,024개 코딩 에이전트가 스스로 역할을 나누는 Microsoft의 멀티에이전트 하네스14분Microsoft Research가 2026년 10월 24일 MIT 라이선스로 공개한 자기조직화 멀티에이전트 하네스 Agensh(arXiv 2609.26781)를 1차 출처로 정리한다. 오케스트레이터 없이 Gitea·Mattermost·공유 컨텍스트 보드 위에서 동일한 프롬프트를 받은 워커들이 작업을 claim하고 머지하는 5단계 협업 루프, ProgramBench 최난이도 5개 과제에서 1→128 에이전트가 19.31%→28.78%, pandoc 1→1,024가 33.89%→55.06%를 기록한 조건, 8/32/128/1,024개 규모에서 관찰된 창발적 리뷰·integrator 역할, 그리고 동일 비용 비교가 아니라는 한계와 재현 요구사항까지 다룬다.
AI논문리뷰Agent멀티에이전트Harness에이전트설계Microsoft오픈소스LLMAI / AGENT
Harness²: 정답 없이 하네스를 고치고, 고친 경험까지 쌓는 재귀적 하네싱18분Google Cloud AI Research의 Harness² 논문 리뷰와 공개 코드 실행기. 하네스가 설계 분포 밖의 과제에서 깨지는 open-world 문제를 두 층의 재귀로 푼다. 과제 수준에서는 정답 피드백 없이 Propose–Probe–Compose로 편집을 검증하고, 하네싱 수준에서는 채택된 하네스와 교훈을 개선 하네스에 축적한다. 8개 편집 가능 컴포넌트, 병렬·순차 재귀, 세 벤치마크 수치, 그리고 macOS에서 데모를 직접 돌려본 결과와 보안 주의까지 정리한다.
AI논문리뷰AgentHarness에이전트설계자기개선LLMGoogleAI / ML
H-JEPA: 잠재 공간을 층층이 쌓아 더 먼 미래를 계획하는 월드 모델13분LeCun 그룹의 H-JEPA 논문 리뷰. 행동 조건부 JEPA를 계층으로 쌓아 각 레벨이 자기 잠재 공간에서 더 긴 시간 단위를 예측하게 하고, 상위 레벨의 예측을 하위 레벨의 서브골로 삼아 top-down으로 계획합니다. Visual AntMaze 성공률 18%→73%, DROID 실제 로봇 영상에서의 결과와 collapse를 막는 손실 설계를 정리합니다.
AI논문리뷰JEPAWorld ModelSelf-Supervised LearningPlanningRoboticsYann LeCunAI / AGENT
RRSI: 하네스가 스스로를 고칠 때 벤치마크 과적합을 막는 정규화13분Google의 RRSI 논문 리뷰. 에이전트 하네스를 LLM이 반복 편집하는 재귀적 자기 개선은 진화 세트에 과적합되기 쉽다. 시간에 따라 줄어드는 편집 예산, 정체 시 탐험 유도, 누수 비평가와 노이즈·비용 기준의 선별, 구조 가지치기로 검색을 정규화해 8개 벤치마크에서 OOD 전이와 토큰 효율을 동시에 얻은 결과를 정리한다.
AI논문리뷰AgentHarness에이전트설계자기개선LLMGoogleAI / ASR
스트리밍 ASR 2026: 음성 인코더 + LLM 디코더가 음성 인식을 평정하다13분2026년 10월 1일 공개된 Microsoft MAI-Transcribe-2-Streaming(벤더 발표 + Artificial Analysis 독립 수치)과 1월 공개된 Alibaba Qwen3-ASR(기술 보고서)을 비교합니다. FireRedASR2-LLM, Fun-ASR, Canary-Qwen까지 1차 자료로 아키텍처를 확인해 '인코더 + LLM 디코더' 트렌드가 어디까지 사실인지, 그리고 Nemotron 식 RNN-T 스트리밍과 무엇이 다른지 정리합니다.
AI논문리뷰ASR음성인식스트리밍LLMQwen3-ASRMicrosoft벤치마크AI / DeepFakeDetection
우리가 놓친 딥페이크: 잘못된 위협을 쫓은 10년과, 폰 사진을 가짜로 찍는 탐지기들16분딥페이크 탐지 분야를 되돌아보는 2026년 논문 두 편을 묶어 정리합니다. 포지션 페이퍼 'The Deepfakes We Missed'는 438편의 논문 분포와 실제 피해 통계를 대조해 '잘못된 위협 모델'이 병목이라고 주장하고, 감사 연구 'LAION-Mobile'은 공개 체크포인트 12개를 약 100만 장의 스마트폰 사진 풀에서 평가해 현대 AI 콘텐츠에서 AUC 0.624를 넘는 탐지기가 없고, 보정 기준에 따라 진짜 폰 사진의 17~91%가 가짜로 찍힌다는 것을 보입니다.
AI딥페이크논문리뷰보안컴퓨터비전벤치마크포지션페이퍼LAIONAI / LLM
MinerU2.5: 1.2B 파라미터로 문서 파싱 SOTA를 낸 '분리형' VLM11분OpenDataLab의 MinerU2.5 기술 보고서 리뷰. 저해상도 썸네일로 레이아웃을 잡고, 원본 해상도 crop에서 텍스트·수식·표를 읽는 2단계 구조로 1.2B 모델이 OmniDocBench 90.67점을 기록했다. 데이터 엔진(IMIC), ADR 수식 처리, OTSL 표 표현, 처리 속도까지 정리하고 README 기준 실행 방법을 덧붙인다.
AI논문리뷰문서파싱OCRVLMMinerUOmniDocBenchRAGAI / LLM
UCCI: 토큰 마진을 캘리브레이션해 비용 최적 LLM 캐스케이드를 만들다12분작은 모델이 먼저 답하고 불확실하면 큰 모델로 넘기는 LLM 캐스케이드 논문 UCCI 리뷰. 토큰 top-1/top-2 마진을 평균해 불확실성 점수를 만들고, isotonic regression으로 오류 확률로 캘리브레이션한 뒤, 정확도 제약 하에서 비용을 최소화하는 임계값을 고른다. 4B/12B NER 워크로드에서 F1 0.91 기준 비용 31% 절감, 어떤 집계 방식이 왜 나은지, 캘리브레이션이 깨지는 조건까지 정리한다.
AI논문리뷰LLMCascadeRoutingCalibrationIsotonic RegressionSelective Prediction추론비용AI / AGENT
LLM 에이전트에도 직무 분리가 필요하다: Planner / Policy Gate / Executor / Auditor 4역할 거버넌스 아키텍처13분특권을 가진 LLM 에이전트와 OS 사이에 planner, policy gate, executor, auditor 네 역할을 끼워 넣어 공격 성공률을 98.3%에서 7.7%로 낮춘 TDGA 논문(arXiv 2609.38224)을 리뷰합니다. 구조화된 intent, 실행될 바이트에 바인딩된 1회용 자격증명, OS 샌드박스의 기여, 11.1%의 false-denial 비용까지 숫자로 정리하고, '선의의 에이전트가 감시를 우회한다'는 Covert Assistance 논문(arXiv 2609.39050)을 동기로 함께 다룹니다.
AI논문리뷰Agent보안Separation of Duties샌드박스Prompt InjectionMulti-AgentAI / AGENT
Paper2Agent: 논문을 MCP 서버로 바꾸면 논문끼리 대화한다11분스탠포드 James Zou 팀의 Nature 논문 Paper2Agent 리뷰. 논문과 코드베이스를 멀티 에이전트로 분석해 MCP 서버로 변환하고, 그 MCP를 Claude Code 같은 에이전트에 붙여 '논문 에이전트'를 만드는 파이프라인을 정리합니다. 두 논문 에이전트가 협업해 ADHD 관련 변이를 찾아낸 사례와 100편 규모 대량 평가 결과까지 다룹니다.
AI논문리뷰AgentMCPClaude CodeAI for Science멀티에이전트GenomicsAI / AGENT
Raven: 하네스의 하네스, 모델-하네스 쌍을 조합하는 에이전트 생태계15분EverMind AI의 Raven 논문 리뷰. 실행 가능한 모델-하네스 쌍을 조합 단위로 보고, Host Agent가 목표를 DAG로 분해해 전문 에이전트에 배정하며, host archive·EverOS·Skill Forge로 경험을 축적한다. 조합이 task coverage를 넓히는 이론적 조건과 장기 과제 벤치마크 결과까지 정리한다.
AI논문리뷰Agent멀티에이전트Harness에이전트설계LLMSkillAI / Inference
Edge0: 35B MoE를 SSD에서 3GiB 메모리로 서빙하기 — 라우팅을 한 토큰 먼저 예측한다13분AutoArk의 Edge0 기술 보고서 리뷰. 전문가 가중치를 SSD에 두고 mmap으로 스트리밍하되, 다음 레이어의 라우팅을 한 토큰 먼저 예측하는 prerouter로 디스크 읽기를 연산 뒤에 숨깁니다. int4 양자화 손실은 병합하지 않는 recovery LoRA로 되찾아, 24GB Mac mini에서 35B MoE를 2.9GiB 피크 메모리, 20.4 tok/s로 서빙한 결과를 정리합니다.
AI논문리뷰LLMMoE추론최적화SSD오프로딩양자화LoRA온디바이스AI / Inference
SparLeak: 공유 GPU에서 Sparse Attention이 사이드채널이 되는 이유11분SparLeak 논문 리뷰. 긴 컨텍스트 추론을 빠르게 하려고 쓰는 sparse attention이 '어떤 KV 페이지를 읽었는가'라는 데이터 의존적 메모리 접근 패턴을 남기고, 같은 GPU에 올라탄 다른 테넌트가 L2 캐시·TLB 경합으로 이를 읽어내 쿼리 속성 90.9%, 응답 토큰 87.3%를 복원한다는 내용을 정리합니다. 방어/인식 목적의 보안 연구 리뷰입니다.
AI논문리뷰LLMSparse AttentionKV Cache사이드채널GPU 보안서빙추론최적화AI / LLM
Context Language Models: 컨텍스트를 파일처럼 직접 고치는 LLM12분UW·Meta Superintelligence Labs의 Context Language Models(CLM) 논문 리뷰. 모델의 라이브 컨텍스트를 하나의 파일로 미러링하고 Bash로 마음대로 편집하게 하자, 요약·슬라이딩 윈도우·메모리 툴 같은 기존 컨텍스트 관리 전략보다 더 적은 연산으로 더 높은 정확도를 냈습니다. 자연어 한 문장으로 전략을 조종하고, 온라인 RL로 가중치에 내재화하는 방법까지 정리합니다.
AI논문리뷰LLMAgentContext EngineeringKV Cache강화학습GRPOAI / LLM
Dust: 역전파 없이 트랜스포머를 사전학습하다9분Q Labs의 Dust 논문 리뷰. 가중치가 아니라 활성값(activation)에 노이즈를 주고, 토큰 하나하나를 '가상 개체군'으로 삼아 순전파만으로 트랜스포머를 학습합니다. 큰 population에서는 backprop을 넘어서기도 하는 결과를 정리합니다.
AI논문리뷰TransformerLLMBackpropagationEvolution StrategiesZeroth-order사전학습AI / LLM
The Generalization Problem: 데이터가 아니라 컴퓨트로 일반화를 사자11분Q Labs의 2025년 8월 에세이 'The Generalization Problem'과 동반 논문 'Decoupling Search and Learning' 리뷰. 데이터가 아닌 컴퓨트로 일반화가 스케일하려면 '모델 탐색(search)'과 '일반화 prior'가 필요하다는 주장, 그리고 표현 공간에서 진화 탐색을 돌리고 파라미터는 경사하강으로 맞추는 첫 실험을 정리합니다. Dust 논문의 사상적 prequel입니다.
AI논문리뷰GeneralizationSearchEvolutionary SearchBitter LessonQ LabsBackpropagationAI / LLM
Jev: 텍스트 대신 '확률 붙은 답 하나'를 돌려주는 System One 결정 모델13분TypeSafe AI의 Jev는 문장을 생성하지 않는다. 호출자가 미리 정한 답 집합 중 하나를 캘리브레이션된 확률과 함께 돌려준다. System One(결정) vs System Two(추론) 구분, 입출력 인터페이스, 캘리브레이션, 어디에 쓰고 어디에 쓰면 안 되는지, 그리고 'LLM 판정자와 같은 곳에서 틀린다'는 Penn 논문의 결론까지 정리한다.
AI논문리뷰LLMJevSystem OneCalibrationLLM-as-a-JudgeAI AgentAI / LLM
Transformer 없이 언어 모델 만들기 — Mamba(SSM) 완전 정복4분Attention의 O(T²) 병목을 없앤 상태 공간 모델(SSM) Mamba의 핵심 원리를 파헤칩니다. 선택적 상태 공간, 하드웨어 인식 병렬화, 그리고 Transformer와의 성능 비교까지 정리합니다.
AILLM논문리뷰MambaSSM상태공간모델아키텍처딥러닝AI / AGENT
KGGen: 텍스트에서 지식 그래프를 생성하는 새로운 방법2분평문(plain text)으로부터 자동으로 고품질 지식 그래프를 생성하는 KGGen 논문 리뷰. 동의어 군집화로 희소성을 줄이고 새로운 평가 기준 MINE을 제안한 접근법을 정리합니다.
AINLP논문리뷰지식그래프KGGenPythonLLMGraphRAGAI / LLM
Engram: LLM에 '기억의 서랍'을 달아주다6분DeepSeek-AI & Peking University가 발표한 Engram 논문 리뷰. N-gram 해싱 기반 조건부 메모리로 MoE의 '조건부 계산'을 보완하여 추론 능력까지 향상시키는 원리를 정리합니다.
AILLM논문리뷰DeepSeekMoE메모리스케일링아키텍처AI / AGENT
대규모 코드베이스를 정복하는 AI 코딩 에이전트: Confucius Code Agent 깊이 파헤치기6분Meta와 Harvard가 공동 발표한 Confucius Code Agent(CCA) 논문 리뷰. AX/UX/DX 분리, 계층적 컨텍스트 관리, Hindsight Notes, 메타 에이전트 등 핵심 메커니즘을 코드와 함께 정리합니다.
AIAgentLLM코딩에이전트SWEMetaHarvard논문리뷰AI / DeepFakeDetection
DeepShield: Fortifying Deepfake Video Detection6분ICCV 2025에 발표된 DeepShield 논문 리뷰. 로컬 민감도(LPG)와 글로벌 일반화(GFD)를 동시에 해결하는 딥페이크 탐지 프레임워크를 PyTorch 구현 코드와 함께 정리합니다.
AI딥페이크논문리뷰ICCVCLIPViTPyTorch컴퓨터비전보안AI / DeepFakeDetection
Seeing Through Deepfakes: A Human-Inspired Framework for Multi-Face Detection6분ICCV 2025 딥페이크 탐지 논문 리뷰. 인간의 4가지 인지 단서를 AI에 적용한 HICOM 프레임워크를 소개하고, 다중 얼굴 시나리오에서의 탐지 방법을 Python 코드와 함께 정리합니다.
AI딥페이크논문리뷰ICCV컴퓨터비전멀티페이스보안PythonAI / DeepFakeDetection
Defending Deepfake4분딥페이크 방어 최신 논문 2가지(GuardDoor, Texture Feature Perturbation)를 요약하고, 핵심 아이디어를 Python 코드로 시연해봅니다.
AI딥페이크논문리뷰보안컴퓨터비전GuardDoor텍스처섭동PythonAI / LLM
LLM도 '브레인 롯(Brain Rot)'에 걸릴 수 있을까?3분저품질 웹 텍스트(정크 데이터)에 지속적으로 노출된 LLM의 인지 능력이 저하된다는 'LLM 브레인 롯 가설' 논문을 리뷰합니다. 추론 능력 저하, 안전성 문제, 성격 변화까지 충격적인 실험 결과를 정리합니다.
AILLM논문리뷰브레인롯데이터품질AI안전성사전학습AI / DeepFakeDetection
Understanding Audiovisual Deepfake Detection: Techniques, Challenges, Human Factors and Perceptual Insights3분오디오-비주얼 딥페이크 탐지에 관한 포괄적인 서베이 논문 리뷰. 딥페이크 유형, 탐지 방법, 주요 데이터셋, 인간 지각 연구, 현재 과제까지 총정리합니다.
AI딥페이크논문리뷰멀티모달보안딥러닝컴퓨터비전AI / Inference
Efficient Memory Management for Large Language Model Serving with PagedAttention4분vLLM의 핵심 알고리즘 PagedAttention 논문 리뷰. KV cache를 OS의 가상 메모리처럼 관리해 기존 시스템 대비 2~4× 처리량 향상을 달성한 방법을 정리합니다.
AILLM논문리뷰vLLMPagedAttentionKV cache메모리관리서빙AI / LLM
Reasoning Models Don't Always Say What They Think4분추론 모델의 CoT가 실제 내부 추론을 충실히 반영하지 않을 수 있다는 Anthropic의 연구를 살펴봅니다.
AILLM논문리뷰CoTAI안전성추론모델AI / LLM
Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models4분동결된 언어 모델이 학습 데이터에 없던 미사용 도구까지 CoT 추론 과정에서 활용할 수 있도록 하는 Chain-of-Tools 방법론을 소개합니다.
AILLM논문리뷰CoTTool LearningCoToolsAI / LLM
Overtrained Language Models Are Harder to Fine-Tune (과잉 훈련 재앙)3분사전 학습을 과도하게 진행하면 오히려 미세조정 성능이 저하된다는 '재앙적 과훈련' 현상을 다룬 논문을 살펴봅니다.
AILLM논문리뷰Fine-Tuning사전학습AI / LLM
EXAONE-Deep : 국내 최초 Notable AI Models 등재 추론 모델3분LG AI 연구원이 공개한 오픈소스 추론 모델 EXAONE-Deep의 학습 방식과 사용법을 살펴봅니다.
AILLMEXAONE추론모델오픈소스논문리뷰AI / LLM
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context3분고정된 문맥 길이 한계를 극복하고 장기 의존성 학습의 새로운 가능성을 연 Transformer-XL 논문을 살펴봅니다.
AITransformer논문리뷰LLMAI / LLM
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale4분텍스트 중심이었던 Transformer를 이미지 인식에 직접 적용한 Vision Transformer(ViT) 논문을 살펴봅니다.
AITransformerViT논문리뷰ComputerVisionAI / LLM
Improving Language Understanding by Generative Pre-Training : GPT의 시작4분현재 GPT 시대의 출발점이 된 GPT-1 논문을 살펴봅니다.
AIGPT논문리뷰LLMAI / LLM
DeepSeek R1 : 강화학습으로 세상을 뒤흔든 모델2분강화학습 기반 Post-Training으로 주목받은 DeepSeek R1의 학습 방식과 성능을 살펴봅니다.
AIDeepSeekLLM강화학습논문리뷰AI / LLM
Titans: Learning to Memorize at Test Time5분트랜스포머에 신경 기억 레이어를 추가하여 장단기 기억을 모두 효율적으로 처리하는 Google의 Titans 아키텍처를 살펴봅니다.
AITitansLLM논문리뷰MemoryAI / LLM
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding4분양방향 트랜스포머 기반의 언어 모델 BERT를 소개한 논문을 살펴봅니다.
AITransformer논문리뷰LLMBERTAI / LLM
Attention Is All You Need : AI 혁명의 시작4분현 시대 생성형 AI의 모태가 되는 Transformer 아키텍처를 제안한 논문을 살펴봅니다.
AITransformer논문리뷰LLM