為什麼這個領域重要

幾年前，推論還是GPU伺服器的活。到了2026年，預設值正往裝置端遷移。llama.cpp與GGUF格式讓本地跑LLM變得簡單。Q4量化把模型壓到FP16大小的約四分之一，於是7B模型能塞進4GB記憶體，而幾乎每個新的開源權重釋出後數小時內，就會出現對應的GGUF版本。手機上也一樣。Meta的MobileLLM 125M在iPhone上每秒約出50個token，Llama 3.2的1B與3B、Gemma 3從270M起、Qwen2.5的0.5B與1.5B等小模型都以4位元量化在實機上運行。裝置端解碼每個token不到20ms，而雲端往返要200到500ms。語音也是同樣的結構。參數82M、權重約327MB的開源TTS模型Kokoro，在包括Apple Silicon的一般CPU上跑得比即時還快，登上TTS Arena榜首，授權是Apache 2.0。

這為何變成招募，是因為三條商業動機疊在一起。第一是隱私。資料不離開裝置就無法外洩，沒有伺服器日誌、沒有資料落地問題、沒有被攻破的面。隨著GDPR執法趨嚴、美國州級隱私法激增、Apple的追蹤限制落地，「把使用者資料送到伺服器做AI處理」成了可量測地更差的預設做法，而裝置端推論從一開始就不觸碰這些法規。第二是成本。雲端推論按請求計費，而把推論推到使用者已經擁有的硬體上，流量成長也不會抬高推論帳單。第三是延遲與離線。即時翻譯和AR這類需要即答的功能撐不住網路往返，能離線運作的功能則是硬差異化點。在台灣，把AI快速推出的公司，其ML平台團隊正單獨開出裝置端的方向，隱私敏感的醫療與金融科技公司會優先招這項技能。

所需技能

這個職務處在ML系統知識與原生、行動工程重疊的狹窄山谷裡，兩邊都得懂。第一，量化。INT8與INT4是入門，你要在llama.cpp支援的從1.5位元到8位元的整數量化裡做取捨。降到4位元能把記憶體砍到四分之一，但精度在哪裡崩、哪些任務4位元夠用、哪些需要8位元，都靠實測得知。把「訓練用16位元、部署用4位元」為何成為業界標準吃透，是出發點。

第二，執行環境與後端。LLM選llama.cpp與ggml，iOS和Apple Silicon用Core ML，Android用TFLite，跨平台用ONNX Runtime。核心是在實機上基準測試過，同一個模型在給定任務下哪個後端更快。行動端記憶體頻寬為每秒50到90GB，而資料中心是2到3TB，差距在30倍以上，即便高階手機可用RAM也不到4GB，於是熱降頻與電池都成了變數。你還要跟進像Qualcomm MX與ARM SME這類把Transformer推論裝進CPU的指令擴充。實際上有個0.8B模型在Snapdragon 7 Gen 1上完全離線跑完五階段流水線，約60秒完成。若目標是瀏覽器，就疊上WebGPU與Transformers.js，一行device: 'webgpu'便能開出比WASM快最多100倍的路徑。

第三，部署與最佳化。如何把幾百MB的權重送到裝置、裝置端快取、記憶體預算、冷啟動與回退，以及為保護模型而用的TEE，都在職責之內。正如Kokoro所示，一個選得好的小模型在CPU上也能勝過雲端API，所以真正的武器是把小模型貼著裝置磨快，而不是把重模型做大。

職業路徑

入口通常有兩條。ML工程師往裝置部署深入，或者行動、系統工程師補上推論。無論哪條，第一關是一樣的：挑一個公開的量化模型，放到實機手機或筆電上跑，親手測延遲、記憶體與電池，再寫成文。有這樣一個專案，作為初階作品集就足夠顯眼。到了中高階階段，在真實產品裡跑過裝置端推論的資歷就是武器。「不把敏感資料送伺服器、在裝置上處理，消除了合規風險」「把推論搬到裝置，月度GPU帳單降了X%」這類成果能直接換成談判籌碼。

調過量化損失、選過後端、設計過模型下發與離線回退的經驗，把這一階拉開。再往上開出兩個方向。一是裝置端AI平台架構師，負責全公司的裝置推論標準與模型下發流水線。二是直接為llama.cpp、Core ML工具鏈這類開源生態貢獻，累積名聲。這是個人才池還薄的新領域，現在進來並做出參考案例的人，未來幾年很可能憑稀缺性得到回報。