電腦操作代理工程:軟體工程師的新領域

打造並維運直接操作人類介面的AI代理的工程師。畫面定位、隔離執行、失敗復原、權限稽核,接下沒有API的那一段工作。

1 分鐘閱讀

一句話概述

打造並維運直接操作人類介面的AI代理的工程師。畫面定位、隔離執行、失敗復原、權限稽核,接下沒有API的那一段工作。

電腦操作代理工程:軟體工程師的新領域

一覽這個職業

成長前景 成長中
需求 非常高
來源與參考 (8)

最後更新: 2026-01-30

為什麼這個領域重要

里德·霍夫曼與馬克·平克斯在2026年4月與里坦卡爾·達斯共同創立的AI實驗室Prentis,正以10億美元估值洽談1億美元募資。它下的賭注一句話說得完:真正成為AI最大用途的不是寫程式,而是日常辦公事務的自動化。它賣的也不是抽象的副駕駛,而是保險理賠處理、關稅退稅例外件這類具體業務,據報導與客戶簽下的合約規模最高達5000萬美元。團隊超過25人,包含來自OpenAI、Google DeepMind、Meta、騰訊與阿里巴巴的研究人員,全押在這一件事上。

這裡講的自動化,和過去的企業系統整合是兩回事。它不是用API把代理接進SAP或Salesforce,而是讓代理直接操作人每天盯著的那塊畫面。辦公業務裡相當大一部分,本來就發生在沒有API的地方:用了二十年的內部桌面程式、藏在登入工作階段後面的政府入口網站、在附件與試算表之間來回的手工活。這也正是傳統RPA用座標和腳本硬蓋、介面稍微一動就垮掉的地帶。

難度直接寫在基準測試裡。OSWorld在真實作業系統上用369個任務考代理,人類成功率是72.36%,而基準發布當時最強的模型只有12.24%。之後分數漲得很快,2025年7月還推出了清掉社群回報評分錯誤的OSWorld-Verified。可是人一次就能做完的事,代理十次掉幾次,仍然決定產品上不上得了線。把這道落差補起來,就是這個職位的活。

所需技能

這不是訓練模型的位置。它更接近系統工程:在一塊不穩定的介面上,讓代理把業務從頭做到尾。

  • 畫面定位。 只信截圖座標,解析度、佈景主題或字體縮放一變就整組失效。把無障礙樹、DOM與OCR一起掛上,替同一顆按鈕準備多條路徑,再讓執行時決定要信哪一路訊號。
  • 隔離執行環境。 代理握的是真的滑鼠和鍵盤。只在專用虛擬機或容器桌面裡跑,憑證用注入而不是顯示在畫面上,對外連線用白名單鎖住。工作階段錄影在事故調查和回歸重現兩邊都用得上。
  • 失敗復原。 彈出視窗、載入卡住、按錯的儲存鍵。長任務一定會在某處走偏。在可回捲的節點留檢查點,付款、寄送、刪除這類不可逆動作前面強制人工確認。
  • 評估框架。 公開基準只是起跑線,真正的數字來自用自家業務搭的黃金集。能重現同一初始狀態的快照、判定成功的腳本、上線前的回歸關卡,湊齊了分數才有意義。
  • 權限與稽核。 一份涵蓋900多名技術人員與管理者的2026年代理安全調查顯示,已部署代理中真正受到監控或保護的比例是47.1%,只有14.4%的組織表示全部代理都經過安全與IT核准才上線。過去一年確認或懷疑發生過代理相關安全事件的組織占88%,仍用共享API金鑰做代理間認證的團隊占45.6%。操作介面的代理很容易直接繼承人類帳號的全部權限,所以動作層級的稽核紀錄和急停開關不是附加功能,而是發布條件。
  • 成本與延遲。 完成一件業務,畫面辨識要跑幾十輪。Prentis宣稱其Hive-32B的單一任務成本約為前沿API的十分之一。用小模型扛下大部分步驟、只把難關往大模型送的路由策略,正在變成基本功。

職業路徑

入口不只一個,是這個方向的特點。用Selenium或Playwright長期寫UI測試的人,早就摸熟介面怎麼壞、抖動從哪來。維運過RPA的人,清楚哪些流程值得自動化、例外會堆在哪裡。平台與基礎架構背景的人,在隔離執行和憑證管理上馬上能出力。台灣的金融、保險與製造業後台已經鋪了不少UiPath這類RPA存量,港台的企業也多半如此,所以職缺往往不是新開一個組織,而是在既有維運團隊上面加一層代理。

階梯大致分三段。初階把業務錄下來做黃金集,依類型替失敗歸檔。中階握有定位策略、復原政策與權限模型。資深與帶頭的人負責畫線:哪些業務交給代理、哪裡必須由人喊停,同時接下稽核要求與事故檢討。既然權限設計和稽核屬於發布條件,資安同事就不是最後才來驗收,而是從設計階段一起坐下來。

最快的驗證是自己跑一遍。挑一件最花手工的內部業務,讓代理在虛擬機裡從頭做到尾,同一個任務重複20次,把成功率和失敗類型做成表。哪一步偏了幾次、哪道護欄攔了下來,寫清楚之後,這張表會比履歷上的關鍵字更早被看見。

付費 · 專家親自調研

想更深入了解這個職業?

專家親自深入調研,為你客製包含市場、薪資、進入策略與風險的深度分析報告並寄給你。

走過這條路的人

標籤

#software-engineer #computer-use-agents #GUI-automation #agent-ops

準備好開始了嗎?

上面的那些人也和你一樣從零開始。今天就選一件事開始做吧!

你可以的!這裡的每個人一開始也什麼都不懂。