1. 关于这个专业化方向

AI基础设施工程师(AI Infrastructure Engineer)负责设计和运维AI系统实际运行的物理和软件基础。核心职责：管理GPU集群、协调分布式训练以及优化推理服务系统。

这个职位与"ML基础设施工程师"有所不同。ML基础设施工程师处理训练任务调度、模型注册表和MLflow·W&B等实验追踪流水线。AI基础设施工程师则在更底层工作，多GPU集群网络(InfiniBand、RoCE、NCCL)、基于vLLM和TensorRT-LLM的推理服务、CUDA内核优化，以及成本和延迟SLO管理。

2026年这一职位需求爆炸性增长的原因在于，风险资本开始大量涌入AI基础设施层。Cerebras IPO 266亿美元，Sierra 9.5亿美元E轮，SGLang商业化公司RadixArk 1亿美元种子轮，这些公司正在构建需要运营的基础设施，而能够胜任的人才严重匮乏。

3. 专业化路线图

成为AI基础设施工程师需要在软件工程和DevOps基础上增加三个层次。

分阶段转型重点

1. 夯实分布式系统基础

   • Kubernetes GPU算子、NCCL集合通信(AllReduce、AllGather)、InfiniBand/RoCE网络概念。
   • 在小型集群(2~4个GPU)上运行真实的分布式训练任务是起点。

2. 理解推理服务栈

   • 阅读并实践vLLM的PagedAttention和SGLang的RadixAttention，理解KV缓存策略的差异。
   • 用TensorRT-LLM在H100上部署模型并自行测量吞吐量和延迟。

3. 构建可观测性层

   • 使用Prometheus + Grafana构建GPU利用率、推理延迟、批量大小、KV缓存命中率的仪表板。

4. 构建成本优化案例

   • “我将月度GPU支出降低了X%“是一份有说服力作品集的核心。