태스크 소개와 목표
얼굴에 애니메이션·캐리커처·캐릭터 스타일을 입히는 Face Style Transfer 태스크를 발표자 얼굴 예시로 소개한다. 메신저 프로필, 카메라 필터, 게임·메타버스 아바타 활용을 제시하고, '나와 닮은 캐릭터 만들기'와 '스타일 변환이 잘 이루어지기'라는 두 가지 개선 목표를 명확히 세운다.
스타일 변환의 근간인 GAN을 생성자·판별자의 적대적 학습으로 설명한다. 판별자는 진짜/가짜를 구별하고 생성자는 이를 속일 사실적 영상을 만든다. 초기 GAN의 저해상도 한계를 2018년 엔비디아가 4×4부터 점진적으로 키우는 PGGAN(프로그레시브 그로잉)으로 극복한 흐름을 짚는다.
PGGAN 기반으로 만들어진 StyleGAN을 설명한다. 레이어가 커질수록 얼굴 전체 구조에서 머리카락·피부색 같은 디테일로 생성 성분이 달라지며, 저해상도엔 금발 여성, 고해상도엔 흑발 여성 벡터를 넣어 스타일을 섞는 스타일 믹싱 특성을 소개한다. AdaIN, 매핑 네트워크, 노이즈 주입 구조도 다룬다.
스타일 변환 선행 연구 두 가지를 소개한다. JoJoGAN은 모든 레이어를 하나의 스타일에 파인튜닝하지만 모델당 한 스타일만 가능하다. 올해 CVPR의 DualStyleGAN은 PSP 인코더로 입력을 인코딩하고 TS·TC·모델S 모듈을 파인튜닝해 다양한 애니메이션 변환을 구현하며, 이를 개선 베이스로 삼는다.
DualStyleGAN의 두 문제, 즉 얼굴 윤곽 패스가 스타일 영상 쪽으로 이어져 원치 않는 긴 머리·안경테가 섞이는 점과 PSP 인코더 복원이 원본과 안 닮는 점을 지적한다. 저해상도 얼굴 패스를 입력 영상 쪽으로 재연결하고, 인코더를 성능 좋은 Style Transformer로 교체하는 직관적 수정으로 더 닮은 결과를 얻는다.
만화 스타일에서 그림자가 그라데이션처럼 뭉개지고 머리카락 텍스처가 안 닮는 문제를 목적함수로 접근한다. 잘 학습된 GAN에서 판별자는 50%를 출력해야 한다는 원 논문 정의와 정보이론의 importance sampling·likelihood ratio를 끌어와, 샘플 중요도로 손실을 가중하는 개선의 이론적 토대를 마련한다.
생성자로 판별자 성능을 추정한 앞 내용에 이어, 판별자 자체를 개선한다. 대규모 데이터셋으로 학습된 판별자의 앞단(피처 추출)은 freeze하고 뒷단(분류)만 파인튜닝하면 로버스트한 능력이 보존된다는 연구를 적용해, 앞단 5개를 얼리고 뒷단 3개를 파인튜닝하는 최적 조합을 실험으로 찾는다.
구조·목적함수 개선 전후를 비교해, 그림자가 스타일 영상처럼 층지고 머리카락·피부 텍스처가 타겟 도메인에 더 가까워졌음을 보인다. 안경테·머리 길이 같은 노이즈를 제거하면서 내 콘텐츠를 유지한 캐릭터·캐리커처·디즈니·웹툰 변환 결과를 제시하고, 구조 수정과 논리적 목적함수 정의의 효과를 강조하며 마무리한다.