이 분야가 중요한 이유

지난 3년간 최상위 이미지 모델은 과금형 API 뒤에 갇혀 있었다. 프롬프트를 보내면 그림이 돌아왔고, 가중치는 만질 수 없었다. 이 구도는 2026년 6월 22일 크레아가 Krea 2, 120억 파라미터 디퓨전 트랜스포머, 를 상업 이용이 허용되는 오픈웨이트 라이선스로 공개하면서 깨졌다. 글로벌 톱10 이미지 모델을 내려받아 뜯어보고 재학습시키고 내 손에 있는 하드웨어에서 돌릴 수 있게 된 첫 사례다. 흥미로운 일은 더 이상 프롬프트 창에 없다. 한 겹 아래, 가중치에 있고, 그 자리에 사는 사람이 오픈웨이트 이미지 모델 엔지니어다.

공개 방식부터 그 작업을 부르는 모양이다. 크레아는 체크포인트를 둘로 나눠 풀었다. 파인튜닝을 전제로 한 비증류 베이스 Raw, 그리고 빠른 추론에 맞춘 8스텝 증류본 Turbo다. 의도된 루프가 명시돼 있다, Raw에서 LoRA를 학습한 뒤 Turbo에서 돌려라. 무른 베이스에서 배운 적응이 빠른 모델로 그대로 넘어가기 때문이다. 이건 소비자용 기능이 아니라 엔지니어링 과제서다. 예전엔 모델을 만든 연구소의 몫이던 차별화를, 자동차 렌더·건축·제품 사진·브랜드 고유 톤 같은 특정 도메인에서 실행해내는 사람에게 넘긴다.

필요한 역량

디퓨전 트랜스포머를 호출만 하는 블랙박스가 아니라 분해 가능한 시스템으로 이해해야 한다. Krea 2는 그룹 쿼리 어텐션을 쓰는 싱글스트림 DiT에 Qwen Image VAE, 텍스트 인코더로 Qwen 3 VL을 얹은 구조다. 잠재 공간이 어디 있는지, 컨디셔닝이 어디로 들어오는지, 증류 단계가 무엇을 포기하는지를 아는 것과 모르는 것의 차이가 하이퍼파라미터를 추측으로 만지느냐 논리로 만지느냐를 가른다. 핵심 기술은 LoRA다. 전체 파라미터의 1% 미만만 학습하면서 풀 파인튜닝 품질의 대부분을 회복하는 저랭크 가중치 업데이트를, 수백만 장이 아니라 수십 장짜리 데이터셋으로 익힌다.

일의 나머지 절반은 그 결과물을 굴러가게 만드는 것이다. 가중치가 열려 있어도 서빙하지 못하면 의미가 없으니, 로컬 추론 도구 체인 안에서 산다, ComfyUI 그래프, diffusers 라이브러리, 소비자급·워크스테이션 GPU 한 장에 올리기 위한 양자화, 품질을 깨지 않고 지연 목표를 맞추는 엔지니어링이다. 테크니컬 리포트를 읽고 수치를 재현하며, 증류 체크포인트가 프로덕션에 충분한 때와 베이스가 유일하게 정직한 선택인 때를 판단한다. Python과 PyTorch는 기본기고, 멀리 가는 사람은 CUDA 커널과 메모리 프로파일까지 읽는다. 병목은 거의 언제나 VRAM과 처리량이기 때문이다.

커리어 경로

남의 작업을 재현하는 데서 시작한다. Hugging Face에서 Krea 2를 받아 ComfyUI에 띄우고, 잘 큐레이션한 작은 세트로 LoRA를 학습한 뒤 리포트가 주장한 대로 Raw에서 Turbo로 전이되는지를 직접 증명한다. 이 한 번의 연습이 데이터셋 큐레이션, 학습 안정성, 그리고 좋은 적응과 워터마크에 과적합된 적응을 구분하는 눈을 길러준다. 거기서 실제 도메인, 자기 조명을 원하는 스튜디오, 자기 제품을 원하는 카탈로그, 으로 옮겨 그들의 검증을 견디는 파인튜닝을 내놓는다.

시니어로 갈수록 어댑터를 학습하는 사람에서 파이프라인을 책임지는 사람으로 이동한다. 데이터에서 배포까지의 루프를 설계하고, 체크포인트가 퇴행했는지 판정하는 평가 하니스를 만들며, 이미지당 비용을 낮게 유지하는 양자화·서빙 결정을 내린다. 시장이 이 이동을 그대로 반영한다. AI의 가치는 모델을 소유하는 데서 모델을 둘러싼 워크플로를 소유하는 쪽으로 미끄러지고 있고, 프런티어 랩의 모델을 처음부터 학습시키지 못하는 회사도 오픈 모델은 충분히 파인튜닝할 수 있다. 네카라쿠배 같은 대형 테크와 생성 AI 스타트업은 이 역량을 ‘생성 AI 엔지니어’, ‘응용 AI 엔지니어’, ‘ML 엔지니어’ 같은 직함으로 채용한다. 국내 대형 테크의 ML 엔지니어 연봉은 경력에 따라 6천만~1억5천만 원 선에서 형성되고, 자체 미디어 모델을 내는 곳일수록 위로 벌어진다. 오픈 가중치를 도메인 제품으로 바꿔내는 엔지니어가, 예전에 API가 가져가던 마진을 가져간다.