#MoE
4개의 글RSS
AI / Inference
FreeToken: 대역폭 적응 실행으로 엣지에서 MoE 서빙하기 — 미스를 '옮길지, 그 자리에서 계산할지'를 기계가 정한다16분UC Berkeley·MIT·UT Austin 팀의 FreeToken 논문 리뷰. 호스트 메모리에 전문가 풀을 두고 GPU는 전역 LRU 캐시로 쓰되, 캐시 미스를 PCIe 전송과 CPU 직접 실행으로 나누는 비율을 기계에서 측정한 두 대역폭으로 닫힌 형태로 정한다. RTX 5090에서 Qwen3.6-35B 77~83 tok/s, DeepSeek-V4-Flash 22~25 tok/s로 llama.cpp·KTransformers 대비 1.5~2.3배를 기록한 결과와, 같은 시리즈의 Edge0(SSD 스트리밍 + 라우팅 예측)과의 차이를 정리한다.
AI논문리뷰LLMMoE추론최적화엣지서빙CPU-GPU하이브리드온디바이스llama.cppAI / Inference
DeepInfer: DeepSeek이 공개한 프로덕션 추론 프레임워크 해부16분DeepSeek이 2026년 10월 20일 Apache-2.0으로 공개한 추론 프레임워크 DeepInfer를 저장소 README·배포 Q&A 문서 기준으로 정리합니다. FlashMLA·DeepGEMM·DeepEP가 안에서 맡는 역할, DSpark 가변 길이 검증, SWA bounded replay, 비동기 스케줄링과 벤치마크 수치의 측정 조건, 그리고 이번 공개에 빠진 것(KV cache 시스템·PD 분리·로드밸런서)까지 다룹니다.
AILLMDeepSeek추론최적화서빙Speculative DecodingMoEKV Cache오픈소스AI / Inference
Edge0: 35B MoE를 SSD에서 3GiB 메모리로 서빙하기 — 라우팅을 한 토큰 먼저 예측한다13분AutoArk의 Edge0 기술 보고서 리뷰. 전문가 가중치를 SSD에 두고 mmap으로 스트리밍하되, 다음 레이어의 라우팅을 한 토큰 먼저 예측하는 prerouter로 디스크 읽기를 연산 뒤에 숨깁니다. int4 양자화 손실은 병합하지 않는 recovery LoRA로 되찾아, 24GB Mac mini에서 35B MoE를 2.9GiB 피크 메모리, 20.4 tok/s로 서빙한 결과를 정리합니다.
AI논문리뷰LLMMoE추론최적화SSD오프로딩양자화LoRA온디바이스AI / LLM
Engram: LLM에 '기억의 서랍'을 달아주다6분DeepSeek-AI & Peking University가 발표한 Engram 논문 리뷰. N-gram 해싱 기반 조건부 메모리로 MoE의 '조건부 계산'을 보완하여 추론 능력까지 향상시키는 원리를 정리합니다.
AILLM논문리뷰DeepSeekMoE메모리스케일링아키텍처