장기 자율 에이전트 오케스트레이션: 소프트웨어 엔지니어의 새로운 영역

코딩 에이전트가 5분짜리 자동완성을 넘어섰다

코딩 에이전트가 5분짜리 자동완성을 넘어섰다. 2026년 OpenAI는 Codex가 멈추지 않고 약 25시간을 돌며 1,300만 토큰을 태우고 3만 줄에 가까운 코드를 뽑아낸 스트레스 테스트를 공개했다. 한 번의 프롬프트로 끝나는 일이 아니라, 매니저 에이전트가 작업을 쪼개 병렬 워커에게 던지고 몇 시간 동안 스스로 빌드·테스트·수정을 반복하는 장기 자율 작업의 시대다. METR의 시간 지평 지표는 프런티어 모델이 50% 신뢰도로 처리할 수 있는 작업 길이가 2019년 이후 약 7개월마다 두 배씩 늘었다고 본다. 이 곡선이 유지되면 2028년엔 하루 단위 작업이 손에 들어온다.

그런데 모델이 길게 돌수록 진짜 병목은 모델이 아니라 그 주변을 감싸는 하니스로 옮겨간다. Anthropic이 장기 실행 에이전트를 위한 효과적 하니스를 따로 글로 다룰 만큼, 상태를 유지하고 도구 호출을 중재하며 진행을 검증하고 드리프트를 잡는 인프라가 신뢰성을 좌우한다. 5분짜리 호출이 실패하면 다시 부르면 그만이지만, 8시간을 돈 에이전트가 마지막에 무너지면 그 8시간이 통째로 날아간다. 체크포인트로 중간 상태를 저장하고 프로세스 경계를 넘어 멈췄다 재개하며, 비용이 폭주하지 않게 토큰 예산을 묶고, 사람의 승인이 필요한 지점에서 안전하게 일시정지하는 일, 이걸 설계하는 사람이 장기 자율 에이전트 오케스트레이션 엔지니어다.

분산 시스템과 AI 엔지니어링이 겹치는 자리

이 일은 분산 시스템 엔지니어링과 AI 엔지니어링의 교집합에 앉아 있다. 비결정적 작업자를 다루는 신뢰성 엔지니어라고 보면 된다. 그 위에 장기 실행 특유의 감각이 얹힌다.

• 하니스·오케스트레이션 설계. 매니저-워커 구조, 서브에이전트별 컨텍스트 윈도우 분할, 작업 분해와 재조립을 짠다. 에이전트가 길게 돌수록 컨텍스트가 새어 나가므로, 무엇을 기억하게 하고 무엇을 압축·폐기할지를 의도적으로 설계한다.
• 체크포인트와 재개. 멈췄다 다시 켜도 깨지지 않는 실행을 만든다. 중간 상태를 저장하고, 실패 지점부터 재시도하고, 배포가 한가운데서 일어나도 살아남는 영속적 워크플로우를 짠다. 멱등성이 전제다.
• 드리프트·신뢰성 가드. 몇 시간 뒤 에이전트가 원래 목표에서 벗어나거나 같은 실수를 무한 반복하는 걸 막는다. 진행 검증, 루프 감지, 단계별 게이트, 자동 롤백, 비결정적 시스템에 결정론적 안전망을 두른다.
• 비용 통제와 관찰 가능성. 토큰 예산을 묶고 단가를 실시간으로 본다. OpenTelemetry GenAI 컨벤션에 맞춰 호출·도구 사용·추론을 트레이싱해, 8시간짜리 실행이 어디서 토큰을 태웠는지 사후에 읽어낸다.
• 휴먼 인 더 루프 재개. 사람이 끼어들 지점을 설계한다. 안전하게 멈추고, 사람이 본 뒤 컨텍스트를 잃지 않고 재개하는 흐름을 만든다.

장시간 도는 에이전트를 띄워 본 사람이 드물다

수요는 가파른데 실제로 장시간 도는 에이전트를 프로덕션에 띄워 본 사람은 드물다. 그래서 이 자리는 평범한 백엔드 엔지니어도, 순수 ML 리서처도 아닌 어중간한 교집합을 요구한다. 분산 시스템과 신뢰성 엔지니어링을 알면서 에이전트 런타임의 비결정성까지 다뤄 본 미드~시니어가 채용의 무게중심이다. “데모는 도는데 프로덕션에서 30분 만에 무너진다"를 해결할 수 있느냐가 관건이다.

진입 경로는 의외로 평범하다. SRE·플랫폼·분산 시스템 백엔드로 출발해 에이전트 인프라를 맡거나, AI 엔지니어링 쪽에서 오케스트레이션을 하다 신뢰성·런타임 레이어로 내려오는 식이다. 직함은 아직 굳지 않아 Agent Infrastructure Engineer, AI Platform Engineer, Agent Reliability Engineer 등으로 흩어져 있다. 네카라쿠배 같은 곳이든 막 시리즈 A를 받은 스타트업이든, 내부 개발 에이전트를 안정적으로 굴리는 일이 더는 사이드 프로젝트가 아니라 플랫폼 팀의 정식 업무가 됐다. 보상은 AI 인프라·플랫폼 엔지니어 상단을 따라가며, 국내라면 사내 플랫폼 트랙의 윗자리에 해당한다.

가장 빠른 검증법은 직접 만들어 보는 것이다. 코딩 에이전트 하나에 작은 하니스를 씌워, 체크포인트로 멈췄다 재개하게 하고, 토큰 예산과 루프 감지를 붙이고, 모든 호출을 OTel로 계측한다. 그다음 일부러 중간에 죽여 보고 깨끗하게 되살아나는지 잰다. 이 한 사이클이 이력서의 어떤 키워드보다 강하다.