1. 關於這個專業化方向

AI基礎設施工程師(AI Infrastructure Engineer)負責設計和運維AI系統實際運行的物理和軟體基礎。核心職責：管理GPU叢集、協調分散式訓練以及最佳化推理服務系統。

這個職位與「ML基礎設施工程師」有所不同。ML基礎設施工程師處理訓練任務排程、模型登錄表和MLflow·W&B等實驗追蹤管道。AI基礎設施工程師則在更底層工作 — 多GPU叢集網路(InfiniBand、RoCE、NCCL)、基於vLLM和TensorRT-LLM的推理服務、CUDA核心最佳化，以及成本和延遲SLO管理。

2026年這一職位需求爆炸性增長的原因在於，風險資本開始大量湧入AI基礎設施層。Cerebras IPO 266億美元，Sierra 9.5億美元E輪，SGLang商業化公司RadixArk 1億美元種子輪 — 這些公司正在構建需要運營的基礎設施，而能夠勝任的人才嚴重匱乏。

3. 專業化路線圖

成為AI基礎設施工程師需要在軟體工程和DevOps基礎上增加三個層次。

分階段轉型重點

1. 夯實分散式系統基礎

   • Kubernetes GPU算子、NCCL集合通訊(AllReduce、AllGather)、InfiniBand/RoCE網路概念。
   • 在小型叢集(2~4個GPU)上執行真實的分散式訓練任務是起點。

2. 理解推理服務堆疊

   • 閱讀並實踐vLLM的PagedAttention和SGLang的RadixAttention，理解KV快取策略的差異。
   • 用TensorRT-LLM在H100上部署模型並自行測量吞吐量和延遲。

3. 構建可觀測性層

   • 使用Prometheus + Grafana構建GPU利用率、推理延遲、批量大小、KV快取命中率的儀表板。

4. 構建成本最佳化案例

   • 「我將月度GPU支出降低了X%」是一份有說服力作品集的核心。