얼굴 정체성은 지키면서 화풍을 바꾸는 face style transfer와, 이미지 속 사람의 관절을 찾는 human pose estimation을 한 세션에 담아 각각의 모델 진화와 한계를 공개한다. GAN에서 diffusion으로, 그리고 heatmap·HRNet·whole-body로 이어지는 개선을 실제 서비스 API 설계까지 연결한다.
핵심 포인트- StyleGAN의 generator·discriminator가 얼굴 분포를 학습하고 inversion model이 입력 얼굴을 latent noise로 바꿔 닮은 다른 화풍을 생성하지만, 타이트한 얼굴 crop을 전제로 해 옆얼굴·긴 머리·넓은 구도에서 일그러짐
- 이 입력 제약을 줄이려 Stable Diffusion으로 전환 — 화풍을 가리키는 text embedding을 학습하고 입력 얼굴 noise와 함께 decoder에 넣어 배경·넓은 구도까지 변환하되 조명·안경·손가락에서 hallucination·품질 저하가 남음
- pose estimation은 사람을 먼저 검출하고 crop별로 관절을 찾는 top-down과 관절 먼저 찾아 묶는 bottom-up 중, 정확도 우선 목표에 따라 top-down 선택
- 좌표 직접 회귀 대신 위치 분포를 heatmap으로 예측하고 OKS로 평가, 고해상도 특징을 유지하는 HRNet 기반에 whole-body(얼굴·손) 확장 시 관절 그룹별 loss·weight를 조정 — 최종 Pose API는 인원 수·사람 index·body/손 관절을 반환
왜 읽나생성·비전 모델을 실제 API 서비스로 만들어야 하는 엔지니어에게, GAN 대 diffusion, top-down 대 bottom-up 같은 선택과 각 방식이 남기는 실전 한계를 솔직하게 비교한 사례.