이 분야가 중요한 이유

자기개선(self-improving) 에이전트는 이제 논문 속 개념이 아니라 프로덕션 패턴이다. 실제로 도는 에이전트는 모든 운영 상호작용을 로그로 남기고, 평가 기준에 대고 점수를 매긴 다음, 그 신호를 되먹여 자기 프롬프트와 정책, 도구 선택을 스스로 고쳐 나간다. 지금 대부분은 사람이 승인하는 루프지만, 무게중심은 자율 쪽으로 빠르게 옮겨 간다. 에어비앤비가 2025년에 공개한 Agent-in-the-Loop는 이 데이터 플라이휠로 재학습 주기를 몇 달에서 몇 주로 줄였고, recall@75 +11.7%, precision@8 +14.8%, 응답 유용성 +8.4%를 얻었다.

문제는 반대편에 있다. 에이전트가 스스로 좋아질 때, 조용히 나빠지기도 한다. 2026년 arXiv에 쌓이는 자기개선 에이전트 연구들이 반복해 보여주는 건, 새 능력을 얻는 만큼 옛 능력을 잃는다는 사실이다, 능력 총량은 순증이어도 특정 태스크에서는 말없이 회귀가 난다. 그래서 에이전트가 제안한 자기 수정 하나하나를, 프로덕션에 올리기 전에 걸러야 한다. 그 게이트가 held-out 평가다. 개선 루프가 한 번도 보지 못한 태스크 셋을 따로 숨겨 두고, 에이전트가 자기 벤치마크에 과적합하지 못하게 막는다. 이렇게 어떤 자기개선을 배포할지 결정하고, 능력 회귀를 잡아내고, 틀리면 되돌리는 폐루프 운영은 에이전트를 만드는 일과 완전히 다른 직무다. 모델을 키우는 것도, 에이전트를 짜는 것도 아니라, 자동개선의 라이프사이클을 책임지는 자리다.

필요한 역량

이 일은 SRE의 배포·롤백 감각 위에, 비결정적으로 스스로 변하는 시스템을 검증하는 평가 엔지니어링을 얹은 교집합이다. 에이전트를 잘 만드는 것과는 결이 다르다, 에이전트가 스스로 바꾼 것을 믿을지 말지 판정하는 파이프라인을 만드는 일이다.

• held-out 게이팅. 개선 루프에 절대 노출하지 않는 숨긴 평가 셋을 관리한다. 오염(contamination)을 막고, 자기개선안이 이 숨긴 셋에서 기준을 넘겨야만 승격되게 프로모션 규칙을 건다. 실패했던 프로덕션 케이스는 영구 회귀 테스트로 굳혀, 같은 실수가 두 번 배포되지 않게 한다.
• capability regression 감지. 에이전트가 무엇을 얻었는지만이 아니라 무엇을 잃었는지를 본다. 능력별 스코어보드를 두고, 전체 점수는 올랐는데 특정 능력만 조용히 떨어지는 silent loss를 콕 집어낸다.
• eval-as-CI. 실제 실패에서 뽑은 골든셋, 사람 리뷰어에 맞춰 보정한 LLM-as-judge, 회귀를 막는 CI 게이트를 파이프라인에 묶는다. 온라인 스코어링은 응답 뒤에 비동기로 돌려 지연을 안 늘리고, 샘플링 비율로 비용을 통제한다.
• 신뢰·롤백 파이프라인. 자기 수정은 카나리로 일부 트래픽에만 먼저 흘리고, 이상 신호에 서킷 브레이커·자동 롤백을 건다. 어떤 개선이 무엇을 근거로 올라갔는지 provenance를 남겨, 문제가 나면 정확히 그 변경만 되돌린다.
• 관찰 가능성과 데이터 플라이휠. 모든 자기 수정과 그 결과를 트레이싱한다. 프로덕션 실패를 영구 평가 케이스로 승격시키고, 드리프트를 감지해 다음 개선 사이클의 입력으로 되먹인다.

커리어 경로

수요는 뚜렷한데 공급이 얇다. 에이전트 데모까지 만들어 본 사람은 흔해도, 스스로 고쳐 나가는 에이전트를 프로덕션에서 안전하게 굴려 본 사람은 드물다. “자기개선을 켰더니 지표는 올랐는데 특정 시나리오가 조용히 깨졌다"를 잡아내고 되돌릴 수 있느냐가 채용의 핵심이다. 순수 백엔드도, 순수 ML 리서처도 아닌 교집합, SRE·플랫폼 경험에 평가 엔지니어링 감각을 더한 미드~시니어가 무게중심이다.

진입은 두 갈래다. SRE·플랫폼에서 출발해 사내 에이전트 인프라와 배포 게이트를 맡다가 자기개선 라이프사이클로 넘어오거나, AI·프롬프트 엔지니어링에서 평가와 롤백 레이어로 내려온다. 직함은 아직 안 굳어 Agent Ops Engineer, Eval Engineer, LLM Reliability Engineer로 흩어져 있고, 보상은 동급 SWE보다 10~20% 위를 얹는 곳이 는다. 네카라쿠배든 막 시리즈 A를 받은 스타트업이든, 에이전트를 프로덕션에 올린 조직이라면 이 역할은 이제 플랫폼 팀의 정식 업무다.

가장 빠른 검증은 직접 돌려 보는 것이다. 도구 서너 개짜리 작은 에이전트를 만들어 자기 프롬프트를 스스로 고치게 풀어 두고, held-out 평가 게이트와 능력별 스코어보드, 자동 롤백을 건다. 그런 다음 에이전트가 회귀를 프로덕션에 올리려는 순간을 게이트가 막아 세우는 걸 눈으로 확인한다. 이 한 사이클을 돌려 본 경험이 이력서의 어떤 키워드보다 강하다.