#추론최적화
10개의 글RSS
AI / Inference
FreeToken: 대역폭 적응 실행으로 엣지에서 MoE 서빙하기 — 미스를 '옮길지, 그 자리에서 계산할지'를 기계가 정한다16분UC Berkeley·MIT·UT Austin 팀의 FreeToken 논문 리뷰. 호스트 메모리에 전문가 풀을 두고 GPU는 전역 LRU 캐시로 쓰되, 캐시 미스를 PCIe 전송과 CPU 직접 실행으로 나누는 비율을 기계에서 측정한 두 대역폭으로 닫힌 형태로 정한다. RTX 5090에서 Qwen3.6-35B 77~83 tok/s, DeepSeek-V4-Flash 22~25 tok/s로 llama.cpp·KTransformers 대비 1.5~2.3배를 기록한 결과와, 같은 시리즈의 Edge0(SSD 스트리밍 + 라우팅 예측)과의 차이를 정리한다.
AI논문리뷰LLMMoE추론최적화엣지서빙CPU-GPU하이브리드온디바이스llama.cppAI / LLM
확산 언어 모델 에이전트의 메타인지 디코딩: 토큰을 언제 확정하고 어디서 멈출지 배우는 플러그인14분럿거스대 Zhao·Lin 등의 논문 'Metacognitive Decoding: Efficient Inference for Diffusion Language Agents' 리뷰. 마스크 확산 언어 모델이 어떻게 텍스트를 만드는지(병렬 디노이징, 블록, 스텝 수와 품질)부터 짚고, 얼어붙은 확산 백본 위에 2층 Transformer 컨트롤러를 얹어 어떤 토큰을 확정할지와 블록의 몇 칸을 계산할지를 GRPO로 학습시킨 방법, BFCL·멀티홉 QA 5개 벤치마크에서 가장 효율적인 베이스라인 대비 FLOPs 20.6% 절감이라는 수치의 실제 구성을 뜯어본다.
AI논문리뷰LLMDiffusion LMdLLMLLaDAAgent추론최적화Tool UseAI / Inference
DeepInfer: DeepSeek이 공개한 프로덕션 추론 프레임워크 해부16분DeepSeek이 2026년 10월 20일 Apache-2.0으로 공개한 추론 프레임워크 DeepInfer를 저장소 README·배포 Q&A 문서 기준으로 정리합니다. FlashMLA·DeepGEMM·DeepEP가 안에서 맡는 역할, DSpark 가변 길이 검증, SWA bounded replay, 비동기 스케줄링과 벤치마크 수치의 측정 조건, 그리고 이번 공개에 빠진 것(KV cache 시스템·PD 분리·로드밸런서)까지 다룹니다.
AILLMDeepSeek추론최적화서빙Speculative DecodingMoEKV Cache오픈소스AI / Inference
Edge0: 35B MoE를 SSD에서 3GiB 메모리로 서빙하기 — 라우팅을 한 토큰 먼저 예측한다13분AutoArk의 Edge0 기술 보고서 리뷰. 전문가 가중치를 SSD에 두고 mmap으로 스트리밍하되, 다음 레이어의 라우팅을 한 토큰 먼저 예측하는 prerouter로 디스크 읽기를 연산 뒤에 숨깁니다. int4 양자화 손실은 병합하지 않는 recovery LoRA로 되찾아, 24GB Mac mini에서 35B MoE를 2.9GiB 피크 메모리, 20.4 tok/s로 서빙한 결과를 정리합니다.
AI논문리뷰LLMMoE추론최적화SSD오프로딩양자화LoRA온디바이스AI / Inference
SparLeak: 공유 GPU에서 Sparse Attention이 사이드채널이 되는 이유11분SparLeak 논문 리뷰. 긴 컨텍스트 추론을 빠르게 하려고 쓰는 sparse attention이 '어떤 KV 페이지를 읽었는가'라는 데이터 의존적 메모리 접근 패턴을 남기고, 같은 GPU에 올라탄 다른 테넌트가 L2 캐시·TLB 경합으로 이를 읽어내 쿼리 속성 90.9%, 응답 토큰 87.3%를 복원한다는 내용을 정리합니다. 방어/인식 목적의 보안 연구 리뷰입니다.
AI논문리뷰LLMSparse AttentionKV Cache사이드채널GPU 보안서빙추론최적화AI / Inference
vLLM 분해하기: Prefill/Decode 분리와 GPU 없는 프론트엔드 실습 가이드15분vLLM 공식 블로그 'Taking vLLM Apart'를 따라 vLLM v0.30에서 P/D 분리와 GPU-less 렌더 티어를 실제로 켜는 방법을 정리합니다. NIXL 커넥터 구성, /render·/derender 3홉 호출, 2×L40S 측정 수치로 본 이득과 손해, 운영 시 주의점까지 다룹니다.
AILLMvLLMPD분리추론최적화서빙KV CacheNIXL실습AI / Inference
AI 추론 비용 줄이기 — KV Cache 완전 정복6분LLM 추론의 핵심 병목인 KV Cache의 원리부터 최신 최적화 기법(MLA, GQA, Sliding Window, Prefix Caching)까지 한 번에 정리합니다. vLLM PagedAttention과도 연결해서 설명합니다.
AILLMKV Cache추론최적화vLLMGQAMLA서빙AI / Inference
Prefill-Decode 분리(PD Disaggregation): LLM 서빙의 새로운 표준5분2025년 LLM 서빙의 표준이 된 Prefill-Decode 분리(PD Disaggregation)의 원리를 파헤칩니다. Prefill과 Decode가 왜 다른 자원을 필요로 하는지, TTFT와 TPOT를 동시에 잡는 방법, DistServe에서 NVIDIA Dynamo까지 정리합니다.
AILLM추론최적화서빙DistServePD분리TTFTTPOTvLLMSGLangAI / Inference
RadixAttention: KV Cache 재사용을 자동화하는 기발한 아이디어5분SGLang이 제안한 RadixAttention의 핵심 원리를 파헤칩니다. Radix Tree 자료구조로 KV Cache를 자동 재사용하는 방식, vLLM의 Prefix Caching과의 차이, 그리고 실제 성능까지 정리합니다.
AILLMRadixAttentionSGLangKV Cache추론최적화서빙자료구조AI / Inference
Speculative Decoding: 작은 모델로 큰 모델을 빠르게 만들기5분LLM 추론의 자기회귀 병목을 해결하는 Speculative Decoding의 원리를 파헤칩니다. 드래프트 모델, 검증 메커니즘, 수용률, 그리고 Self-Speculative Decoding까지 한 번에 정리합니다.
AILLM추론최적화Speculative Decoding서빙vLLM속도