コンピュータ操作エージェント開発：ソフトウェアエンジニアの新しい領域

この分野が重要な理由

リード・ホフマンとマーク・ピンカスがリタンカール・ダスと2026年4月に立ち上げたAIラボ、Prentisが、企業価値10億ドルで1億ドルの調達を協議している。賭けている命題は一文で言える。コーディングではなく、日常のオフィス業務の自動化こそがAI最大の用途になる、というものだ。売っているのも抽象的なコパイロットではなく、保険金請求の処理や関税還付の例外対応といった具体的な業務で、顧客との契約規模は最大5000万ドルと報じられている。OpenAI、Google DeepMind、Meta、テンセント、アリババの出身者を含む25人超がこの一点に張り付いている。

ここで言う自動化は、従来のエンタープライズ統合とは筋が違う。SAPやSalesforceにAPIでつなぐ仕事ではなく、人が毎日見ている画面をエージェントが直接操作する。オフィス業務のかなりの部分は、そもそもAPIが存在しない場所で起きている。20年前から使い続けている社内デスクトップアプリ、ログインセッションの奥にある行政ポータル、添付ファイルと表計算を往復する手作業。従来のRPAが座標とスクリプトで覆おうとして、画面がわずかに変わるだけで崩れていた領域でもある。

難易度はベンチマークにそのまま出る。実際のOS上で369個のタスクをエージェントに解かせるOSWorldでは、人間の成功率が72.36%なのに対し、公開当時の最高性能モデルは12.24%にとどまった。その後スコアは急速に伸び、2025年7月にはコミュニティ報告の採点誤りを整理したOSWorld-Verifiedも出た。それでも、人が一度で終える作業をエージェントが10回のうち何回落とすかが、製品の生死を分ける。この差を埋めるのがこの職種の仕事だ。

必要なスキル

モデルを学習させる席ではない。不安定な画面の上で、エージェントに業務を最後までやり切らせるためのシステムエンジニアリングに近い。

画面グラウンディング。 スクリーンショットの座標だけを信じると、解像度やテーマ、フォント倍率が変わった瞬間に全部壊れる。アクセシビリティツリー、DOM、OCRを併用して同じボタンに複数の経路を用意し、どの信号を信じるかは実行時に選ばせる。
隔離された実行環境。 エージェントは本物のマウスとキーボードを握る。専用VMやコンテナデスクトップの中でだけ動かし、認証情報は画面に出さず注入し、外に出られる宛先は許可リストで縛る。セッション録画は事故調査と再現テストの両方で効く。
失敗からの復旧。 モーダルの割り込み、遅い読み込み、押し間違えた保存ボタン。長いタスクは必ずどこかでずれる。巻き戻せる地点にチェックポイントを置き、決済や送信、削除といった取り返しのつかない操作の前には人の確認を挟む。
評価ハーネス。 公開ベンチマークは出発点にすぎず、実際の数字は自社業務から作ったゴールデンセットで出る。同じ初期状態を再現するスナップショット、成功判定スクリプト、デプロイ前の回帰ゲートまで束ねて初めてスコアが意味を持つ。
権限と監査。 900人超の実務者と経営層を対象にした2026年のエージェントセキュリティ調査では、配備済みエージェントのうち実際に監視や保護がされている割合は47.1%、全エージェントがセキュリティとIT承認を通ったと答えた組織は14.4%だった。直近1年でエージェント関連のセキュリティインシデントを確認または疑った組織は88%、エージェント間の認証にいまだ共有APIキーを使うチームは45.6%にのぼる。画面を操作するエージェントは人のアカウント権限をそのまま引き継ぎやすいため、操作単位の監査ログとキルスイッチは追加機能ではなくリリース条件になる。
コストと遅延。 業務を一つ終えるあいだに画面認識が何十回も回る。PrentisはHive-32Bのタスク単価がフロンティアAPIのおよそ10分の1だと主張している。大半を小さいモデルで処理し、難所だけ大きいモデルに上げるルーティングが実務の基礎体力になる。

キャリアパス

入口が複数ある点がこの領域の特徴だ。SeleniumやPlaywrightでUIテストを長く書いてきた人は、画面が壊れる壊れ方とフレーキーの原因を体で知っている。RPAを運用してきた人は、どの業務に自動化の価値があり、どこで例外が噴き出すかを知っている。プラットフォームやインフラの経験者は、隔離実行と認証情報の扱いで即戦力になる。日本では金融や保険のバックオフィスを中心にWinActorやUiPathの導入資産が厚く、新しい組織を立てるより、既存の運用チームの上にエージェント層を載せる形で枠が開くことが多い。

段は大きく三つに分かれる。ジュニアは業務を録画してゴールデンセットを作り、失敗を種類ごとに分類する。ミドルはグラウンディング戦略、復旧ポリシー、権限モデルを持つ。シニアとリードは、どの業務をエージェントに渡し、どこで人が止めるかの線を引き、監査要求とインシデントレビューを引き受ける。権限設計と監査がリリース条件である以上、セキュリティ担当が後から検収に来るのではなく、設計段階から同席する構成になる。新卒一括採用の枠にはまだ名前が載りにくい職種なので、社内異動や中途で入る経路のほうが現実的だ。

一番早い証明は、自分で一つ回してみることだ。手間のかかる社内業務を一つ選び、VMの中でエージェントに最後までやらせる。同じタスクを20回繰り返し、成功率と失敗の型を表にする。どの手順で何回ずれ、どのガードが止めたかまで書いておけば、履歴書に並べるキーワードより先にその表が読まれる。