AI와 코드 사이: 이미지 한 장을 편집 가능한 레이어로 되돌리기

미리디 엔진팀이 해커톤 프로토타입을 만들며, 완성된 이미지 한 장을 편집 가능한 레이어로 되돌리는 문제를 클라우드 생성형 AI와 온디바이스 AI, 결정론적 코드 사이에서 자리마다 나눈 기록이다. 처음에는 이미지를 통째로 생성형 모델에 넣어 분해시켰는데 한 장에 0.6~0.8달러가 들었고 각 요소가 미묘하게 다른 형태로 바뀌어 있었다. 생성형 모델이 원본을 지킨 게 아니라 다시 그린 탓이었다.

핵심 포인트

생성형 모델은 없는 것을 시각화하는 도구지 있는 것을 지키는 도구가 아니다. 있는 건 잘라 쓰면 된다.
분해라는 작업의 대부분은 새로 그리기보다 원래 있던 걸 제자리에 떼어 놓는 일에 가깝다.
사용자가 기대하는 것은 비슷한 로고가 아니라 원본에 있던 바로 그 로고다.
역할을 나눠 한 장에 0.6~0.8달러 들던 비용을 0.1~0.2달러까지 끌어내렸다.
가벼운 AI(배경 제거·업스케일)를 WebGPU로 옮겨 브라우저 처리를 한 장에 80초에서 14초로 당겼다.

상세 정리

문제의 성격: 완성된 포스터 한 장에는 배경, 카드, 캐릭터, 장식이 다 들어 있지만 파일 안에서는 전부 한 겹의 픽셀로 눌려 있다. 편집하려면 그 겹을 다시 갈라야 하는데, 무엇이 배경이고 무엇이 그 위에 얹힌 장식인지, 캐릭터가 어디서 시작하고 끝나는지 같은 정보가 이미 사라지고 없다.
모두 생성형 모델에 맡겼을 때 잃는 것 1 비용: 이미지 생성은 출력 토큰이 비싸 모든 요소를 복원하려 돌리면 호출 수가 그대로 요금이 된다.
잃는 것 2 원본 보존: 로고와 인물은 비슷한 것이 아니라 바로 그것이어야 하는데, 재생성은 프롬프트를 아무리 잘 써도 원본과 미묘하게 달라지고 품질을 보장하기 어렵다.
잃는 것 3 속도: 이미지 생성 API에는 분당 호출 한도가 있어 요소가 많으면 줄을 세워 끊어 던져야 하고, 응답 자체도 기본적으로 느리다.
세 문제의 근본 원인은 하나로, 지켜도 되는 것까지 다시 그린 탓이라고 진단한다.
재설계된 역할 분담: 무엇이 무엇인지 판단하는 일은 클라우드 비전 AI가 하고, 만들어 내는 일은 클라우드 모델보다 가벼운 온디바이스 AI(배경 제거·업스케일)와 결정론적 코드(도형·조립), 그리고 가려진 부분 복원에만 쓰는 클라우드 생성형 AI가 나눠 맡는다.
실행 구조: 비전 모델이 무엇이 어디 있는지 판단해 manifest라는 JSON 하나를 내고, 그 manifest를 기준으로 실행이 세 갈래로 갈린다.
문제 분해: 이미지 분해를 무엇이 어디 있는지 판단하는 문제와 그것을 실제로 떼어 내는 문제 두 가지로 쪼갤 수 있었고, 처음에는 둘 다 생성형 모델에 맡겼다가 비용과 품질이 함께 흔들렸다.
저자는 정작 어려운 것이 그럴듯한 요소를 만드는 것이 아니었다고 짚는다.
예측 가능성 측면의 논의는 별도 글로 이어진다고 안내한다.

왜 읽나생성형 AI로 무엇이든 해결하려다 비용과 품질이 함께 흔들린 팀에게, 판단은 모델에 맡기고 보존은 가벼운 도구와 코드에 맡기는 역할 분리의 실제 효과를 수치로 보여준다.

미리디 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

AI와 코드 사이: 이미지 한 장을 편집 가능한 레이어로 되돌리기

이 글과 비슷한

에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

실리콘투의 사내 지식 MCP 게이트웨이 구축기