#온디바이스
4개의 글RSS
AI / Inference
FreeToken: 대역폭 적응 실행으로 엣지에서 MoE 서빙하기 — 미스를 '옮길지, 그 자리에서 계산할지'를 기계가 정한다16분UC Berkeley·MIT·UT Austin 팀의 FreeToken 논문 리뷰. 호스트 메모리에 전문가 풀을 두고 GPU는 전역 LRU 캐시로 쓰되, 캐시 미스를 PCIe 전송과 CPU 직접 실행으로 나누는 비율을 기계에서 측정한 두 대역폭으로 닫힌 형태로 정한다. RTX 5090에서 Qwen3.6-35B 77~83 tok/s, DeepSeek-V4-Flash 22~25 tok/s로 llama.cpp·KTransformers 대비 1.5~2.3배를 기록한 결과와, 같은 시리즈의 Edge0(SSD 스트리밍 + 라우팅 예측)과의 차이를 정리한다.
AI논문리뷰LLMMoE추론최적화엣지서빙CPU-GPU하이브리드온디바이스llama.cppAI / Inference
Edge0: 35B MoE를 SSD에서 3GiB 메모리로 서빙하기 — 라우팅을 한 토큰 먼저 예측한다13분AutoArk의 Edge0 기술 보고서 리뷰. 전문가 가중치를 SSD에 두고 mmap으로 스트리밍하되, 다음 레이어의 라우팅을 한 토큰 먼저 예측하는 prerouter로 디스크 읽기를 연산 뒤에 숨깁니다. int4 양자화 손실은 병합하지 않는 recovery LoRA로 되찾아, 24GB Mac mini에서 35B MoE를 2.9GiB 피크 메모리, 20.4 tok/s로 서빙한 결과를 정리합니다.
AI논문리뷰LLMMoE추론최적화SSD오프로딩양자화LoRA온디바이스프로젝트 / tour
프로젝트 3 - 관광 활성화를 위한 거대 언어 모델 및 RAG 파이프라인 연구 후기3분일본인 관광객을 위한 온디바이스 RAG 시스템 구축 연구 후기. Qwen3-4B 모델 선정부터 앙상블 RAG 파이프라인 설계까지, 연구지원 프로그램 우수상 수상 연구를 공유합니다.
AILLMRAGQwen온디바이스관광일본어프로젝트연구프로젝트 / tour
프로젝트 2 - 모델 선정(한국어, 일본어, 속도 비교)1분일본인 관광 안내 서비스를 위한 온디바이스 LLM 선정 과정. 5개 3~4B 모델의 한국어/일본어 MMLU 성능과 vLLM 속도를 비교하여 최적 모델을 선정합니다.
AILLM모델선정온디바이스Qwen한국어일본어프로젝트