オンデバイスMLエンジニア: ソフトウェアエンジニアの新領域

オンデバイスMLエンジニアは、スマホ・ノートPC・エッジ機器上でモデルを直接動かす。プライバシー規制と推論コスト、レイテンシが推論をサーバーから端末へ押し出すなか、量子化・llama.cpp・Core MLでローカル推論を組む仕事が独立した職務になった。

1 分で読める

2026年7月9日更新

一言で

オンデバイスMLエンジニア: ソフトウェアエンジニアの新領域

この分野が重要な理由

数年前まで推論はGPUサーバーの仕事だった。2026年、既定値は端末側へ移りつつある。llama.cppとGGUFフォーマットのおかげで、ローカルでLLMを回すのは簡単になった。Q4量子化はFP16比でモデルを約4分の1に縮め、7Bモデルを4GBのメモリに収める。新しいオープンウェイトが出れば数時間以内にGGUF版が付くのが慣例になった。スマホでも同じだ。MetaのMobileLLM 125MはiPhoneで毎秒約50トークンを出し、Llama 3.2の1B・3B、Gemma 3の270Mから、Qwen2.5の0.5B・1.5Bといった小型モデルが4ビットに量子化されて実機で動く。オンデバイスのデコードはトークンあたり20ms未満だが、クラウドの往復は200から500msかかる。音声も同じ構図だ。パラメータ82M、重み約327MBのオープンTTSであるKokoroは、Apple Siliconを含む一般的なCPUで実時間より速く動き、TTS Arenaで首位に立ち、ライセンスはApache 2.0だ。

これが採用に直結するのは、三つの事業動機が重なるからだ。第一にプライバシー。データが端末を離れなければ漏洩しようがない。サーバーログも、データレジデンシーの問題も、侵害面もない。GDPRの執行が強まり、米国の州単位プライバシー法が増え、Appleの追跡制限が重なるなか、「ユーザーデータをサーバーに送ってAIで処理する」ことが測定可能なほど悪い既定値になった。オンデバイス推論はこれらの規制を最初から触らない。第二にコスト。クラウド推論はリクエストごとに課金されるが、推論をユーザーが既に持つハードへ押し出せば、トラフィックが増えても推論の請求額は増えない。第三にレイテンシとオフライン。リアルタイム翻訳やARのような即答が要る機能はネットワーク往復に耐えられない。日本でも、AIを速く出す企業のML基盤チームがオンデバイスの枠を別に設け、個人情報の機微が高いヘルスケア・フィンテックがこの技能を優先する。新卒採用でも、端末推論を触った学生は目に留まりやすい。

必要なスキル

この職務は、MLシステムの知識とネイティブ・モバイルエンジニアリングが重なる狭い谷にあり、両方を知らねばならない。第一に量子化。INT8・INT4は前提で、llama.cppが対応する1.5ビットから8ビットまでの整数量子化のどれを使うかを判断する。4ビットに落とすとメモリは4分の1になるが、精度がどこで崩れるか、どのタスクは4ビットで足り、どれが8ビットを要するかを実測で知る。「学習は16ビット、デプロイは4ビット」が業界標準になった理由を体で理解するのが出発点だ。

第二にランタイムとバックエンド。LLMはllama.cpp・ggml、iOSとApple SiliconはCore ML、AndroidはTFLite、クロスプラットフォームはONNX Runtimeを選ぶ。同じモデルでも端末と作業によってどのバックエンドが速いかを実機でベンチマークした経験が核だ。モバイルのメモリ帯域は毎秒50から90GBで、データセンターの2から3TBに比べれば30倍以上狭く、高性能スマホでも実効RAMは4GB未満なので、サーマルスロットリングとバッテリーまで変数に入る。Qualcomm MXやARM SMEのように、CPUにトランスフォーマー推論を載せる命令拡張を追う感覚も要る。実際に0.8Bモデルが、Snapdragon 7 Gen 1で完全オフラインの5段階パイプラインを約60秒で終えた事例がある。ブラウザが狙いならWebGPUとTransformers.jsを重ね、device: 'webgpu'の一行でWASM比最大100倍速い経路を開く。

第三にデプロイと最適化。数百MBの重みをどう端末へ届けるか、オンデバイスのキャッシュ、メモリ予算、コールドスタートとフォールバック、そしてモデル保護のためのTEEまでが実務範囲だ。Kokoroが示すとおり、よく選んだ小型モデル一つがCPUでクラウドAPIを上回ることもある。重いモデルを大きくする代わりに、小さなモデルを端末に合わせて研ぐ感覚こそがこの職務の武器だ。

キャリアパス

入口はたいてい二つだ。MLエンジニアが端末デプロイへ深く入るか、モバイル・システムエンジニアが推論を学ぶか。どちらでも最初の関門は同じで、公開された量子化モデルを一つ選び、実機のスマホやノートPCに載せ、レイテンシ・メモリ・バッテリーを自分で測って文章にまとめることだ。この程度のプロジェクトが一つあれば、ジュニアのポートフォリオとして十分に目立つ。ミドル・シニア段階では、実際の製品でオンデバイス推論を回した実績が武器になる。「機微データをサーバーへ送らず端末で処理し規制リスクを消した」「推論を端末へ移し月のGPU費をX%減らした」といった成果は、そのまま交渉材料になる。

量子化の損失調整、バックエンド選定、モデル配信とオフラインフォールバックまで設計した経験がこの帯を分ける。その上には二方向が開く。一つはオンデバイスAIプラットフォームのアーキテクトで、会社全体の端末推論標準とモデル配布パイプラインを設計する。もう一つはllama.cppやCore MLツーリングのようなオープンソース生態系に直接貢献し、名を上げる道だ。人材プールがまだ薄い新しい領域なので、いま入ってリファレンスを作った人は、今後数年を希少性で報われる可能性が高い。