AI 플랫폼 엔지니어: 전사 AI 도입을 이끄는 소프트웨어 엔지니어

전 임직원에게 AI를 깔아 준다는 결정 뒤에 남는 일

2026년 6월, 삼성전자가 ChatGPT 엔터프라이즈와 Codex를 국내 전 임직원과 해외 DX 부문 임직원에게 풀었다. OpenAI가 맺은 엔터프라이즈 계약 중에서도 손에 꼽히는 규모다. 더 눈여겨볼 대목은 따로 있다. 삼성은 OpenAI 하나에 묶이지 않았다. 같은 사내 포털에서 ChatGPT, 구글 Gemini 엔터프라이즈, Anthropic Claude를 전부 띄워두고, 직원이 업무 성격에 맞춰 알아서 고르게 했다.

여기서 일이 시작된다. 모델 세 개를 한 화면에 올려놓는다고 끝이 아니다. 누가 어떤 데이터를 어느 모델에 흘려보내는지, 사내 기밀이 외부로 새지 않는지, 비용은 부서별로 어떻게 나눌지, 권한은 직급과 팀에 따라 어떻게 끊을지를 누군가 설계하고 운영해야 한다. 그 누군가가 AI 플랫폼 엔지니어다.

수치가 분위기를 말해준다. 한 조사에서 경영진의 67%가 승인되지 않은 AI 도구 때문에 데이터 유출이나 침해를 이미 겪었다고 답했다. WEF 집계로는 리더의 94%가 AI 핵심 인력 부족에 시달리며, 그중 가장 모자란 자리가 AI 거버넌스와 MLOps 쪽이다. 도구를 사주는 건 카드만 긁으면 되지만, 그 도구가 조직 안에서 안전하고 쓸모 있게 굴러가게 만드는 일은 전혀 다른 문제라는 뜻이다. 네이버·카카오·삼성 같은 곳이 전사 AI 전환을 선언할수록, 빈자리는 도구가 아니라 그 도구를 떠받칠 사람 쪽에서 벌어진다.

게이트웨이와 인증을 몸으로 알아야 한다

기반은 단단한 소프트웨어 엔지니어링이다. API 게이트웨이, 인증·인가, 분산 시스템 운영을 몸으로 알아야 한다. 그 위에 LLM 특유의 층이 얹힌다. 여러 모델 공급사를 하나의 사내 게이트웨이 뒤로 묶는 라우팅, 프롬프트와 응답을 거르는 PII 필터, 탈옥·유해 출력 차단, 팀별 API 키와 쿼터로 비용을 가시화하는 RBAC 설계가 핵심이다. 삼성처럼 세 모델을 동시에 굴리는 환경이라면 모델 간 추상화 계층을 직접 짜는 일이 일상이 된다.

거버넌스 감각도 코딩만큼 중요하다. 어떤 업무에 어느 모델을 허용할지, 규제 산업에서 로그를 어떻게 남기고 보관할지, 감사 요청이 들어왔을 때 추적이 되는지를 미리 깔아둬야 한다. 마이크로소프트와 오라클이 말하는 AI Center of Excellence가 바로 이 그림인데, 요즘은 모든 작업을 막아서는 문지기 모델이 아니라 가드레일만 깔아주고 현업 팀이 직접 굴리게 하는 허브-스포크 방식으로 옮겨가는 중이다. 그 허브의 엔진을 만드는 사람이 이 역할이다.

마지막은 사람을 움직이는 능력이다. 잘 만든 플랫폼도 직원이 안 쓰면 비용만 나간다. 사내 교육, 좋은 사용 패턴을 모은 템플릿, 부서별 채택률 측정과 피드백 루프까지 끌고 가는 인에이블먼트가 실제 성과를 가른다. 코드만 짜는 자리가 아니다.

사내 도구를 다뤄본 경험이 그대로 자산이 된다

대개 백엔드나 플랫폼·인프라 엔지니어로 출발한다. 사내 도구나 개발자 플랫폼을 다뤄본 경험이 그대로 자산이 된다. 거기서 LLM 게이트웨이, 모델 서빙, AI 거버넌스 쪽 일을 한두 프로젝트 맡으면 자연스럽게 이 전문분야로 넘어온다. 클라우드와 보안 지식이 함께 있으면 속도가 붙는다.

국내에서는 삼성·네이버·카카오를 비롯한 대기업이 전사 AI 전환을 본격화하면서, AI 추진 조직이나 플랫폼 팀에서 이 자리를 빠르게 늘리고 있다. AI/ML 직무가 기술 채용에서 차지하는 비중은 2023년 10%대에서 2025년 50% 수준까지 뛰었다. 시작점이 좋다는 얘기다.

위로는 두 갈래가 보인다. 하나는 기술을 더 깊게 파는 길로, 사내 AI 플랫폼 전체를 책임지는 스태프·프린시플 엔지니어나 플랫폼 아키텍트로 간다. 다른 하나는 조직을 끄는 길로, AI 추진 리드를 거쳐 일부 기업이 신설하기 시작한 CAIO(최고 AI 책임자) 자리까지 닿는다. 어느 쪽이든, 도구를 사오는 단계는 이미 지났고 그걸 회사 안에서 굴러가게 만드는 단계가 남았다는 점은 변하지 않는다.