온디바이스 ML 엔지니어: 소프트웨어 엔지니어의 새로운 영역

이 분야가 중요한 이유

몇 년 전만 해도 추론은 GPU 서버의 일이었다. 2026년에는 기본값이 기기 쪽으로 옮겨가고 있다. llama.cpp와 GGUF 포맷 덕에 로컬에서 LLM을 돌리는 게 쉬워졌다. Q4 양자화는 FP16 대비 모델을 약 4분의 1로 줄여서, 7B 모델을 4GB 메모리 안에 밀어넣는다. 새 오픈웨이트 모델이 나오면 몇 시간 안에 GGUF 버전이 붙는 게 관행이 됐다. 폰에서도 마찬가지다. Meta의 MobileLLM 125M은 아이폰에서 초당 50토큰을 뽑고, Llama 3.2의 1B·3B, Gemma 3의 270M부터, Qwen2.5의 0.5B·1.5B 같은 소형 모델이 4비트로 양자화돼 실제 단말에서 돈다. 온디바이스 디코딩은 토큰당 20ms 안쪽인데, 클라우드 왕복은 200에서 500ms가 걸린다. 음성 쪽에서는 Kokoro가 상징적이다. 82M 파라미터에 가중치 약 327MB인 이 오픈 TTS는 애플 실리콘을 포함한 일반 CPU에서 실시간보다 빠르게 돌면서 TTS Arena 1위에 올랐고, 라이선스는 Apache 2.0이다.

이게 왜 채용으로 이어지느냐는, 세 가지 사업 동기가 겹치기 때문이다. 첫째는 프라이버시다. 데이터가 기기를 떠나지 않으면 유출될 수 없다. 서버 로그도, 데이터 레지던시 문제도, 침해 표면도 없다. GDPR 집행이 세지고 미국 주 단위 개인정보법이 늘고 애플의 추적 제한이 겹치면서, “사용자 데이터를 서버로 보내 AI로 처리한다"는 게 측정 가능하게 더 나쁜 기본값이 됐다. 온디바이스 추론은 이 규제를 애초에 건드리지 않는다. 둘째는 비용이다. 클라우드 추론은 요청마다 돈이 나가지만, 추론을 사용자가 이미 가진 하드웨어로 밀면 트래픽이 늘어도 추론 청구서는 늘지 않는다. 셋째는 지연과 오프라인이다. 실시간 번역이나 AR처럼 즉답이 필요한 기능은 네트워크 왕복을 견디지 못한다. 국내에서도 네카라쿠배 계열이 온디바이스 트랙을 따로 들여다보기 시작했고, 개인정보 민감도가 높은 헬스케어·핀테크가 이 역량을 우선 채용한다.

필요한 역량

이 직군은 ML 시스템 지식과 네이티브·모바일 엔지니어링이 겹치는 좁은 골짜기에 있다. 양쪽을 다 알아야 한다. 첫째, 양자화. INT8·INT4는 기본이고, llama.cpp가 지원하는 1.5비트부터 8비트까지의 정수 양자화 중 무엇을 쓸지 판단해야 한다. 4비트로 내리면 메모리가 4분의 1로 줄지만 정확도가 어디서 무너지는지, 어떤 태스크는 4비트로 충분하고 어떤 건 8비트가 필요한지를 실측으로 안다. “학습은 16비트, 배포는 4비트"가 산업 표준이 된 이유를 몸으로 이해하는 게 출발점이다.

둘째, 런타임과 백엔드다. LLM은 llama.cpp·ggml, iOS·애플 실리콘은 Core ML, 안드로이드는 TFLite, 크로스 플랫폼은 ONNX Runtime을 골라 쓴다. 같은 모델이라도 기기와 작업에 따라 어느 백엔드가 빠른지 실기기에서 직접 벤치마킹한 경험이 핵심이다. 모바일은 메모리 대역폭이 초당 50에서 90GB로 데이터센터의 2에서 3TB에 견주면 30배 넘게 좁고, 고사양 폰조차 가용 RAM이 4GB 아래라 열 스로틀링과 배터리까지 변수로 들어온다. Qualcomm MX와 ARM SME처럼 CPU에 트랜스포머 추론을 붙이는 명령어 확장을 읽어내는 감각도 필요하다. 실제로 0.8B 모델이 스냅드래곤 7 Gen 1에서 완전 오프라인으로 5단계 파이프라인을 60초 안에 끝낸 사례가 있다. 브라우저가 목표라면 WebGPU와 Transformers.js를 얹어, device: 'webgpu' 한 줄로 WASM 대비 최대 100배 빠른 경로를 연다.

셋째, 배포와 최적화다. 수백 MB짜리 가중치를 어떻게 단말에 실어 나를지, 온디바이스 캐싱과 메모리 예산, 콜드 스타트와 폴백, 그리고 모델 보호를 위한 TEE까지가 실무 범위다. Kokoro가 보여주듯 잘 고른 소형 모델 하나가 CPU에서 클라우드 API를 이기기도 하니, 무거운 모델을 키우는 대신 작은 모델을 기기에 맞게 벼리는 감각이 이 직군의 무기다.

커리어 경로

진입로는 대개 두 갈래다. ML 엔지니어가 단말 배포로 깊어지거나, 모바일·시스템 엔지니어가 추론을 배우거나. 어느 쪽이든 첫 관문은 같다. 공개된 양자화 모델 하나를 골라 실제 폰이나 노트북에 올리고, 지연·메모리·배터리를 직접 측정해 글로 정리하는 일이다. 이 정도 프로젝트 하나면 주니어 포트폴리오로 충분히 눈에 띈다. 국내 주니어 밴드는 대략 6천만에서 9천만 원 선이다.

미들·시니어 단계에서는 실제 제품에서 온디바이스 추론을 굴려 본 트랙 레코드가 무기가 된다. “민감 데이터를 서버로 안 보내고 기기에서 처리해 규제 리스크를 없앴다”, “추론을 단말로 옮겨 월 GPU 비용을 X% 줄였다” 같은 성과가 그대로 협상 카드가 된다. 양자화 손실 조율, 백엔드 선택, 모델 전송과 오프라인 폴백까지 설계해 본 경험이 이 구간을 가른다. 시니어 밴드는 1억에서 1억 5천만 원 수준에서 형성된다. 그 위로는 두 방향이 열린다. 하나는 온디바이스 AI 플랫폼 아키텍트로, 회사 전체의 단말 추론 표준과 모델 배포 파이프라인을 설계한다. 다른 하나는 llama.cpp·Core ML 툴링 같은 오픈소스 생태계에 직접 기여하며 이름을 쌓는 길이다. 아직 인력 풀이 얇은 신생 영역이라, 지금 진입해 레퍼런스를 만들어 둔 사람이 향후 몇 년간 희소성으로 보상받을 가능성이 크다.