컴퓨터 사용 에이전트 엔지니어링: 소프트웨어 엔지니어의 새 영역

이 분야가 중요한 이유

리드 호프먼과 마크 핀커스가 리탄카르 다스와 함께 2026년 4월 세운 AI 랩 Prentis가 기업가치 10억 달러로 1억 달러 조달을 협의하고 있다. 이 회사의 베팅은 한 문장이다. 코딩이 아니라 일상 사무 업무 자동화가 AI의 최대 용처가 된다는 것. 파는 물건도 추상적인 코파일럿이 아니라 보험 청구 처리, 관세 환급 예외 건 같은 구체적인 업무이고, 고객사와 맺은 계약 규모는 최대 5천만 달러로 알려졌다. OpenAI, 구글 딥마인드, 메타, 텐센트, 알리바바 출신을 포함한 25명 넘는 인력이 이 하나에 붙어 있다.

여기서 말하는 자동화는 기존 엔터프라이즈 통합과 결이 다르다. SAP나 Salesforce에 API로 붙는 작업이 아니라, 사람이 매일 보는 화면을 에이전트가 직접 조작한다. 사무 업무의 상당 부분은 애초에 API가 없는 곳에서 벌어진다. 20년 된 사내 데스크톱 프로그램, 로그인 세션이 걸린 공공 포털, 첨부파일과 스프레드시트를 오가는 손작업 같은 것들이다. RPA가 좌표와 스크립트로 덮으려다 화면이 조금만 바뀌면 무너지던 자리이기도 하다.

난이도는 벤치마크에 그대로 나온다. 실제 운영체제 위에서 369개 과제로 에이전트를 재는 OSWorld에서 사람의 성공률은 72.36%인데, 벤치마크 공개 당시 최고 성능 모델은 12.24%에 그쳤다. 이후 점수는 빠르게 올랐고 2025년 7월에는 커뮤니티가 신고한 채점 오류를 걷어낸 OSWorld-Verified 개편까지 나왔다. 그래도 사람이 한 번에 끝내는 일을 에이전트가 열 번 중 몇 번 놓치느냐는 여전히 제품의 생사를 가른다. 그 격차를 메우는 일이 이 직무의 일감이다.

필요한 역량

모델을 학습시키는 자리가 아니다. 불안정한 화면 위에서 에이전트가 업무를 끝까지 끌고 가게 만드는, 시스템 엔지니어링에 가까운 일이다.

화면 그라운딩. 스크린샷 좌표만 믿으면 해상도, 테마, 폰트 배율이 바뀌는 순간 통째로 깨진다. 접근성 트리와 DOM, OCR을 함께 물려 같은 버튼을 여러 경로로 지목해 두고, 어느 신호를 믿을지 런타임에 고르게 설계한다.
격리된 실행 환경. 에이전트는 진짜 마우스와 키보드를 쥔다. 전용 VM이나 컨테이너 데스크톱 안에서만 돌리고, 자격증명은 화면에 노출하지 말고 주입하며, 나갈 수 있는 도메인을 화이트리스트로 묶는다. 세션 녹화는 사고 조사와 회귀 재현 양쪽에 쓰인다.
실패 복구. 모달 팝업, 느린 로딩, 잘못 누른 저장 버튼. 긴 태스크는 중간에 반드시 어긋난다. 되돌릴 수 있는 지점에 체크포인트를 남기고, 되돌릴 수 없는 행동인 결제, 전송, 삭제 앞에는 사람 확인을 강제한다.
평가 하니스. 공개 벤치마크는 출발점일 뿐이고 값은 사내 업무로 만든 골든셋에서 나온다. 같은 초기 상태를 재현하는 스냅샷, 성공 판정 스크립트, 배포 전 회귀 게이트까지 묶여야 점수가 의미를 갖는다.
권한과 감사. 900명 넘는 실무자와 경영진을 조사한 2026년 에이전트 보안 리포트에서, 배포된 에이전트 중 실제로 모니터링되거나 보호되는 비율은 47.1%였고 전체 에이전트가 보안·IT 승인을 거쳤다는 응답은 14.4%에 그쳤다. 지난 1년 사이 에이전트 관련 보안 사고를 확인했거나 의심한 조직은 88%, 에이전트 간 인증에 아직 공유 API 키를 쓰는 팀은 45.6%였다. 화면을 조작하는 에이전트는 사람 계정의 권한을 그대로 물려받기 쉬워서, 액션 단위 감사 로그와 킬 스위치가 부가 기능이 아니라 출시 조건이 된다.
비용과 지연. 업무 하나를 끝내는 동안 화면 인식이 수십 번 돈다. Prentis는 자사 Hive-32B의 태스크당 비용이 프런티어 API의 약 10분의 1이라고 주장한다. 대부분을 작은 모델로 처리하고 어려운 단계만 큰 모델로 올리는 라우팅이 실무 기본기가 되는 이유다.

커리어 경로

진입로가 여러 갈래라는 게 이 분야의 특징이다. Selenium이나 Playwright로 UI 테스트를 오래 짠 사람은 화면이 깨지는 방식과 플레이크 원인을 이미 몸으로 안다. RPA를 운영해 본 사람은 어떤 업무가 자동화할 값이 있고 어디서 예외가 터지는지 안다. 플랫폼·인프라 쪽은 격리 실행과 자격증명 관리에서 바로 기여한다. 국내에도 삼성SDS Brity RPA처럼 이미 깔아 둔 자동화 자산을 가진 조직이 많아서, 팀을 새로 세우기보다 그 운영 경험 위에 에이전트 레이어를 얹는 형태로 자리가 열리는 경우가 많다.

단계는 대략 이렇게 나뉜다. 주니어는 업무를 녹화해 골든셋을 만들고 실패를 유형별로 분류한다. 미드 레벨은 그라운딩 전략, 복구 정책, 권한 모델을 소유한다. 시니어와 리더는 어떤 업무를 에이전트에 넘기고 어디서 사람이 멈춰 세울지 경계를 정하고, 감사 요구와 사고 리뷰를 받아낸다. 권한 설계와 감사가 출시 조건이라, 보안 담당이 검수하러 뒤늦게 오는 게 아니라 설계 단계부터 같이 앉는 팀 구성이 자연스럽다.

검증은 직접 하나 돌려 보는 게 제일 빠르다. 사내 잡무 중 손이 많이 가는 것 하나를 골라 VM 안에서 에이전트가 끝까지 처리하게 만들고, 같은 태스크를 20번 반복해 성공률과 실패 유형을 표로 남긴다. 어느 단계에서 몇 번 어긋났고 어떤 가드가 그걸 잡았는지까지 적어 두면, 이력서에 적을 키워드보다 그 표가 먼저 읽힌다.