为什么这个领域重要

自我改进（self-improving）智能体如今已不是论文里的概念，而是生产环境的一种模式。真正在跑的智能体会把每一次生产交互记入日志，对照评估标准打分，再把信号回灌，自己改写提示词、策略和工具选择。眼下多数还是人来审批的回路，但重心正快速向自主一侧转移。Airbnb 在 2025 年公开的 Agent-in-the-Loop，用这套数据飞轮把再训练周期从几个月压到几周，recall@75 提升 11.7%，precision@8 提升 14.8%，回答有用性提升 8.4%。

麻烦出在另一头。智能体自己变好时，也会悄悄变差。2026 年前后 arXiv 上不断堆积的自我改进智能体研究反复表明：得到多少新能力，就会丢掉多少旧能力——总量是净增，但某些具体任务会无声地回退。所以智能体提出的每一次自我修改，都必须在上线前过一道闸。这道闸就是留出集（held-out）评估：把改进回路从不接触的一批任务单独藏起来，让智能体无法对自己的基准过拟合。判断哪个自我改进能发布、抓住能力回退、错了就回滚，这套闭环运维是一份和"造智能体"完全不同的工作。它既不是把模型做大，也不是把智能体拼出来，而是接管自动改进的整个生命周期。

所需技能

这份工作处在交叉点上：SRE 的发布与回滚直觉，叠上验证一个会非确定性地自我变异的系统所需的评估工程。把智能体做好是另一门手艺——这里做的是那条判断"要不要相信智能体对自己所做改动"的流水线。

• 留出集门控。 维护一批改进回路永远看不到的评估集。防止污染（contamination），并写好晋级规则，让自我改进方案只有在这批隐藏集上过线才能晋级。把每一个失败的生产用例固化为永久回归测试，让同一个错误不会被部署两次。
• 能力回归检测。 不只看智能体得到了什么，更看它失去了什么。设一块按能力划分的记分板，专门揪出总分上升、某项能力却悄悄下滑的 silent loss。
• eval-as-CI。 把取自真实失败的黄金集、按人工评审校准过的 LLM-as-judge、以及拦截回退的 CI 闸门接入流水线。在线打分放在响应之后异步跑，不增加延迟，用采样率来控成本。
• 信任与回滚流水线。 自我修改先灰度到一小片流量，异常信号触发熔断和自动回滚。为每一次改动留下 provenance，出问题时能精确地只回退那一处改动。
• 可观测性与数据飞轮。 追踪每一次自我修改及其结果。把生产失败晋级为永久评估用例，检测漂移并回灌，作为下一轮改进的输入。

职业路径

需求清楚，供给却薄。做过智能体 demo 的人很多，把一个会自我改进的智能体安全跑在生产里的人却很少。招聘的核心是：能不能抓住并回退"打开自我改进后指标涨了，某个场景却悄悄坏了"。重心落在中高级的交叉地带——SRE 与平台经验，加上评估工程的手感——既不是纯后端，也不是纯 ML 研究员。

入口有两条。从 SRE 或平台起步，接手内部智能体基础设施和发布闸门，再走进自我改进的生命周期；或者从 AI 与提示工程一侧，往下沉到评估与回滚这一层。头衔尚未定型，Agent Ops Engineer、Eval Engineer、LLM Reliability Engineer 各说各的，薪酬也越来越多地比同级 SWE 高出 10%–20%。无论是 BAT、字节这样的大厂，还是刚拿到 A 轮的创业公司，只要把智能体推上了生产，这个角色就已经是平台团队的常设职责，而不再是可有可无。

最快的证明是自己把回路跑一遍。做一个只有三四个工具的小智能体，放手让它改写自己的提示词，再给它套上留出集评估闸门、按能力划分的记分板和自动回滚。然后亲眼看着闸门在智能体试图把一次回退推上生产的那一刻把它拦下。跑通这一圈的经历，比简历上任何一个关键词都硬。