본문으로 건너뛰기
🐨코알라 오딧세이
🐨
이다운
코알라 오딧세이

새 글 알림 받기

GitHub

© 2026 이다운

글 목록
AI

OpenJarvis

AI가 드디어 내 컴퓨터 안으로 들어왔다 — 스탠포드의 OpenJarvis

"당신의 개인 AI가 아직도 남의 서버에서 돌아가고 있다면?"

2026년 3월, 스탠포드대학교 Scaling Intelligence Lab 연구진이 조용하지만 묵직한 한 방을 날렸다. 바로 오픈자비스(OpenJarvis) — 개인 AI 에이전트를 클라우드가 아닌 내 기기에서 직접 실행할 수 있는 오픈소스 프레임워크다.

🤔 지금 AI의 문제: "개인 AI"인데 왜 남의 서버에 있을까?

ChatGPT, Claude, Gemini… 우리가 매일 쓰는 AI 어시스턴트들은 사실 철저히 클라우드 중심이다. 내가 입력한 텍스트는 인터넷을 타고 어딘가의 데이터센터로 날아가고, 거기서 처리된 뒤 다시 내 화면에 표시된다. 겉으로는 "나만의 AI"처럼 보이지만, 실제로는 수천 명이 같이 쓰는 서버 위에 있는 셈이다.

이 구조에는 세 가지 근본적인 문제가 있다.

  1. 레이턴시(응답 지연): 서버까지 왕복하는 시간은 피할 수 없다.
  2. 지속적인 비용: API를 쓸 때마다 과금이 발생한다.
  3. 프라이버시 위험: 내 파일, 메시지, 개인 정보가 외부 서버로 전송된다.

스탠포드 연구진은 이 문제를 정면으로 겨냥했다.

🧠 왜 지금인가? — "Intelligence Per Watt" 연구의 배경

OpenJarvis는 단순한 아이디어가 아니라, 스탠포드팀의 이전 연구 "와트당 지능(Intelligence Per Watt)" 에서 도출된 결론을 실제로 구현한 것이다.

연구 결과는 놀라웠다.

로컬 언어 모델과 로컬 AI 가속기는 단일 턴 대화 및 추론 쿼리의 88.7% 를 인터랙티브한 속도로 처리할 수 있었다.

더불어 2023년부터 2025년 사이 AI 효율성은 5.3배 향상됐다. 퍼스널 컴퓨터, 맥북, 심지어 스마트 기기에서도 AI를 실행하기에 충분한 환경이 갖춰지고 있다는 뜻이다.

즉, 지금은 클라우드 없이도 대부분의 일상적인 AI 작업을 내 기기에서 해낼 수 있는 시대가 된 것이다. 부족했던 건 하드웨어가 아니라 소프트웨어 스택이었고, OpenJarvis는 바로 그 빈자리를 채우기 위해 만들어졌다.

🏗️ OpenJarvis의 5계층 아키텍처

OpenJarvis는 개인 AI 시스템을 구성하는 다섯 가지 핵심 계층(Primitive)으로 설계됐다. 각 계층은 독립적으로 연구하거나 교체할 수 있으며, 동시에 하나의 통합된 시스템으로 동작한다.

1. 🔮 Intelligence — 나에게 맞는 모델을 자동 선택

로컬에서 실행되는 언어 모델 계층이다. 사용자가 원하는 성능 수준을 지정하면 시스템이 내 컴퓨터 사양에 맞는 AI 모델을 자동으로 골라준다. Qwen, Gemma, Phi 등 0.5B~9B 규모의 경량 모델들이 지원된다.

jarvis init 명령어 하나로 하드웨어를 감지하고 최적 설정을 추천해주는 것이 특징이다.

2. ⚙️ Engine — 다양한 추론 런타임 통합

AI 모델이 실제로 계산을 수행하는 실행 환경 계층이다. Ollama, vLLM, SGLang, llama.cpp, MLX 등 다양한 로컬 추론 도구를 하나의 인터페이스로 통합했다. OpenAI, Anthropic, Google Gemini 같은 클라우드 API도 선택적으로 연결할 수 있다.

3. 🤖 Agents — 복잡한 작업을 계획하고 실행

AI가 단순히 답변을 생성하는 것을 넘어, 작업을 계획하고 여러 단계로 실행하는 행동 계층이다. 총 7가지 내장 에이전트 타입을 제공한다.

  • 오케스트레이터(Orchestrator): 복잡한 작업을 여러 서브태스크로 분해
  • 오퍼레이티브(Operative): 반복적인 개인 워크플로우를 처리하는 경량 실행자

기존 ReAct, OpenHands 같은 프레임워크가 클라우드의 풍부한 컴퓨팅 자원을 전제로 설계됐다면, OpenJarvis의 에이전트는 제한된 컨텍스트 창과 효율 제약 안에서 동작하도록 최적화돼 있다.

4. 🛠️ Tools & Memory — AI와 내 환경의 연결 고리

AI가 실제 사용자 환경과 상호작용하는 계층이다. 문서 검색, 파일 읽기, 메시지 서비스 연동, 코드 실행 등 다양한 도구를 지원한다. MCP(Model Context Protocol) 와 Google A2A 프로토콜도 지원해 표준화된 도구 연동과 에이전트 간 통신이 가능하다.

가장 중요한 점은 모든 사용자 데이터(문서, 메시지, 설정)가 기본적으로 내 기기에만 저장된다는 것이다. 외부 서버로 전송되지 않는다.

5. 📈 Learning — 쓸수록 더 똑똑해지는 AI

사용 기록을 바탕으로 모델과 에이전트를 지속적으로 개선하는 계층이다. 시스템은 상호작용 트레이스를 분석해 프롬프트, 에이전트 동작 방식, 모델 선택을 자동으로 최적화한다. 내가 AI를 더 많이 쓸수록 나에게 맞춰진 AI가 되는 것이다.

⚡ 효율성을 "1등 지표"로 삼다

OpenJarvis가 기존 AI 프레임워크와 가장 다른 점 중 하나는 효율성 지표를 정확도와 동등하게 취급한다는 것이다.

일반적인 AI 벤치마크는 모델이 얼마나 정확한지만 측정한다. OpenJarvis는 여기에 더해 다음을 동시에 측정한다.

  • 에너지 소비량 (NVIDIA GPU, AMD GPU, Apple Silicon 지원)
  • FLOPs (부동소수점 연산 횟수)
  • 응답 지연 시간
  • 쿼리당 비용

jarvis bench 명령어로 지연 시간, 처리량, 쿼리당 에너지 사용량을 표준화해서 측정할 수 있다. 50ms 간격으로 에너지를 샘플링하는 텔레메트리 시스템도 내장돼 있다.

🎯 실제로 어떻게 쓸 수 있나?

개인 업무 자동화

이메일 분류, 아침 브리핑, 일일 요약 보고서 생성 등을 클라우드 없이 자동화할 수 있다. 예를 들어 "매일 오전 7시에 일정 확인, 이메일 점검, 브리핑 준비"를 스케줄러에 등록해두면 된다.

로컬 지식 기반 구축

논문이나 메모가 저장된 폴더를 연결하면 프라이빗 RAG(Retrieval-Augmented Generation) 시스템이 구축된다. 내 문서를 기반으로 질문에 답하고 연구를 지원받을 수 있다.

메시지 플랫폼 연동

iMessage, Telegram, WhatsApp 등 익숙한 메시지 앱을 통해 AI와 상호작용할 수 있다. 물론 대화 내용은 외부로 나가지 않는다.

전통적인 LLM 작업

자유 대화, 수학·과학 추론, 코드 생성, 구조화된 데이터 생성 등 모든 작업을 로컬에서 처리할 수 있다. 각 쿼리마다 사용된 에너지와 비용도 함께 추적된다.

💻 개발자라면? 빠른 시작 방법

OpenJarvis는 개발자 친화적인 인터페이스를 제공한다.

# 1. 저장소 복제
git clone https://github.com/open-jarvis/OpenJarvis.git
cd OpenJarvis
uv sync
 
# 2. 하드웨어 감지 및 설정 생성
uv run jarvis init
 
# 3. Ollama 설치 및 시작
curl -fsSL https://ollama.com/install.sh | sh
ollama serve
  • CLI: 터미널에서 직접 사용
  • Python SDK: OpenAI 클라이언트의 드롭인(drop-in) 대체 가능
  • 브라우저 대시보드: http://localhost:5173 에서 접속
  • 데스크톱 앱: macOS, Windows, Linux(DEB/RPM) 지원

🌐 더 넓은 맥락: 온디바이스 AI의 물결

OpenJarvis는 혼자 등장한 것이 아니다. 최근 온디바이스 AI 생태계가 빠르게 형성되고 있다.

  • Liquid AI의 노트북용 오픈소스 로컬 에이전트
  • Alibaba의 Qwen 3.5 Small — 9B 규모로 120B 모델을 능가하는 성능
  • NVIDIA의 DGX 스테이션 — 에이전트 시대를 위한 개인용 인프라

OpenJarvis가 스스로 참조하는 "OpenClaw" 프레임워크는 25만 개 이상의 GitHub 스타를 기록하며 개인 AI 에이전트 붐을 이끌었고, 그 뒤를 이어 PicoClaw, NanoBot, IronClaw 같은 파생 프로젝트들이 쏟아지고 있다. OpenJarvis는 이 흐름의 온디바이스 버전이라 할 수 있다.

🔐 프라이버시와 규제: 왜 중요한가

데이터 보호 규제가 강화되는 흐름 속에서 "민감한 데이터가 기기 밖으로 절대 나가지 않는 아키텍처"는 단순한 기술적 특징을 넘어선다. 의료, 법률, 금융 분야에서 특히 강력한 수요가 예상된다.

GDPR, 국내 개인정보보호법 등이 강조하는 데이터 최소화 원칙과도 정확히 맞닿아 있다.

🔮 전망: PyTorch가 딥러닝을 대중화했듯이

스탠포드 연구팀은 OpenJarvis를 "로컬 AI의 PyTorch"로 만들겠다고 천명했다. PyTorch가 딥러닝 연구와 프로덕션 개발을 위한 공통 언어가 됐던 것처럼, OpenJarvis가 온디바이스 AI 에이전트를 위한 표준 스택이 되겠다는 포부다.

물론 도전 과제도 있다. 소비자용 실리콘이 모델 수요를 따라잡지 못할 경우 유지보수 비용이 커지고, 주류 사용자보다는 개발자·프라이버시 애호가들의 틈새 도구로 머물 가능성도 있다. 결국 OpenJarvis의 성패는 소프트웨어의 완성도만큼이나 하드웨어 효율의 지속적 발전에 달려 있다.

하지만 방향 자체는 분명하다. 1970~80년대 메인프레임에서 개인용 컴퓨터로의 전환처럼, AI도 거대한 클라우드 서버에서 내 손안의 기기로 이동하고 있다. OpenJarvis는 그 전환을 가능하게 할 소프트웨어 인프라의 첫 번째 진지한 시도다.

📎 참고 링크

관련 글

댓글

0 / 1000