计算机操作智能体工程:软件工程师的新领域
一览这个职业
来源与参考 (8)
- https://www.indeed.com/hire/job-description/software-engineer
- https://www.aha.io/roadmapping/guide/agile-development/what-is-the-role-of-a-software-engineer
- https://jessup.edu/blog/engineering-technology/what-do-software-engineers-do-on-a-daily-basis/
- https://www.computerscience.org/careers/software-engineer/
- https://www.mtu.edu/cs/undergraduate/software/what/
- https://www.bls.gov/ooh/computer-and-information-technology/software-developers.htm
- https://www.baesystems.com/en-us/who-we-are/electronic-systems/engineering-careers/software-engineering
- https://www.snhu.edu/about-us/newsroom/stem/what-does-a-software-engineer-do
为什么这个领域重要
里德·霍夫曼与马克·平克斯在2026年4月与里坦卡尔·达斯共同创立的AI实验室Prentis,正在以10亿美元估值洽谈1亿美元融资。它押的赌注一句话就能说清:真正成为AI最大用途的不是写代码,而是日常办公事务的自动化。它卖的也不是抽象的副驾驶,而是保险理赔处理、关税退税例外件这类具体业务,据报道与客户签下的合同规模最高达5000万美元。团队超过25人,其中包括来自OpenAI、Google DeepMind、Meta、腾讯和阿里巴巴的研究人员,全部压在这一件事上。
这里说的自动化,和过去的企业系统集成不是一路货。它不是用API把智能体接进SAP或Salesforce,而是让智能体直接操作人每天盯着的那块屏幕。办公业务里相当大的一部分,本来就发生在没有API的地方:用了二十年的内部桌面程序、藏在登录会话后面的政务门户、在附件和电子表格之间来回的手工活。这也正是传统RPA用坐标和脚本硬盖、界面稍微一动就崩的地带。
难度直接写在基准里。OSWorld在真实操作系统上用369个任务考智能体,人类成功率是72.36%,而基准发布时最强模型只有12.24%。此后分数涨得很快,2025年7月还推出了清理社区上报评分错误的OSWorld-Verified。可是人一次就能做完的事,智能体十次里掉几次,仍然决定产品能不能上线。补上这道差距,就是这个岗位的活。
所需技能
这不是训练模型的位置。它更接近系统工程:在一块不稳定的界面上,让智能体把业务从头做到尾。
- 画面定位。 只信截图坐标,分辨率、主题或字体缩放一变就整体失效。把无障碍树、DOM和OCR一起挂上,给同一个按钮准备多条路径,再让运行时决定信哪一路信号。
- 隔离执行环境。 智能体握的是真的鼠标和键盘。只在专用虚拟机或容器桌面里跑,凭据用注入而不是显示在屏幕上,出站目标用白名单锁死。会话录制在事故调查和回归复现两头都用得上。
- 失败恢复。 弹窗、加载卡顿、按错的保存按钮。长任务一定会在某处走偏。在可回滚的节点留检查点,支付、发送、删除这类不可逆动作前面强制人工确认。
- 评估框架。 公开基准只是起跑线,真正的数字来自用自家业务搭的黄金集。能复现同一初始状态的快照、判定成功的脚本、上线前的回归闸门,凑齐了分数才有意义。
- 权限与审计。 一份覆盖900多名技术人员与管理者的2026年智能体安全调查显示,已部署智能体中真正被监控或保护的比例是47.1%,只有14.4%的组织表示全部智能体都经过安全与IT批准上线。过去一年确认或怀疑发生过智能体相关安全事件的组织占88%,仍在用共享API密钥做智能体间认证的团队占45.6%。操作界面的智能体很容易直接继承人类账号的全部权限,所以动作级审计日志和急停开关不是附加功能,而是发布条件。
- 成本与延迟。 完成一件业务,画面识别要跑几十轮。Prentis称其Hive-32B的单任务成本约为前沿API的十分之一。用小模型扛下大部分步骤、只把难点上抛给大模型的路由策略,正在变成基本功。
职业路径
入口不止一个,这是这个方向的特点。用Selenium或Playwright长期写UI测试的人,早就摸清界面怎么坏、抖动从哪来。运维过RPA的人,知道哪些流程值得自动化、异常会在哪里堆积。平台与基础设施背景的人,在隔离执行和凭据管理上立刻能出力。国内金融、制造和政企侧已经铺了不少来也科技、影刀这类RPA存量,所以岗位往往不是新起一个组织,而是在既有运维团队上面加一层智能体。
台阶大致分三段。初级把业务录下来做黄金集,按类型给失败归档。中级掌握定位策略、恢复策略和权限模型。高级和负责人划线:哪些业务交给智能体、哪里必须由人叫停,同时接住审计要求和事故复盘。既然权限设计和审计属于发布条件,安全同事就不是最后来验收,而是从设计阶段一起坐下来。
最快的验证是自己跑一遍。挑一件最费手的内部业务,让智能体在虚拟机里从头做到尾,同一个任务重复20次,把成功率和失败类型做成表。哪一步偏了几次、哪个护栏拦住了,写清楚之后,这张表会比简历上的关键词更先被看。