나만의 Profile Image를 만드는 Personalized T2I Model 개발기

CLIP image encoder의 global embedding으로 얼굴 전체 특징을 얻고 patch embedding으로 눈·코·윤곽 같은 local identity를 보강한다. Gated self-attention을 diffusion backbone에 넣어 text condition과 identity feature가 생성 단계에서 균형 있게 작동하도록 하며, 한 요소가 강해 prompt나 닮음을 훼손하는 문제를 줄인다.

한 사람의 다양한 각도·표정·조명을 포함한 공개 dataset이 부족해 image collection 대신 video frame을 활용한다. 같은 identity의 연속 frame을 quality·pose 기준으로 선별하고 caption을 붙여 multi-view training pair를 만든다. Dataset 다양성이 model의 profile pose와 표정 일반화에 직접 기여한다.

Personalization module만 좋아도 base diffusion이 사람·손·신체를 잘 그리지 못하면 결과 품질이 제한된다. Human generation에 강한 backbone을 별도로 fine-tuning하고, ArcFace·VGG identity distance와 text-image alignment를 함께 측정한다. 닮음 하나만 높이기보다 prompt 반영과 자연스러움을 multi-objective로 평가한다.

강한 backbone은 얼굴뿐 아니라 손가락과 전신 묘사를 개선해 실제 profile 활용 범위를 넓힌다. 동시에 생성 image임을 알리는 visible·invisible watermark를 적용하고 face manipulation detector로 악용 가능성을 점검한다. 심미성, identity 보존, provenance와 안전을 함께 product requirement로 관리한다.