[NHN Cloud make IT 2022] 언택트 시대를 위한 Face Recognition 활용 방법과 실사례

학습 때 보지 못한 사람도 실서비스에서 구분해야 하는 open-set 문제 때문에 일반 classification과 다른 metric learning이 필요함을 설명한다. Anchor·positive·negative 사이 거리를 조정하는 Triplet Loss의 sample mining 비용을 짚고, Softmax에 margin을 넣는 SphereFace·CosFace·ArcFace 계열이 클래스 간 분리를 넓히는 원리를 비교한다. Verification과 identification, LFW·CFP·AgeDB 및 기관 평가를 통해 성능을 검증하는 방법도 소개한다.

얼굴 검출부터 feature 추출까지 단말에서 수행하면 제한된 CPU와 메모리 때문에 모델 경량화가 필요하다. 연산량을 줄이는 convolution 구조, 수치 표현 범위 조정, ONNX·TensorRT·OpenVINO 같은 가속 수단을 적용해 재택 모니터링과 온라인 시험 감독에 활용한 사례를 설명한다. 다만 경량화로 인한 정확도 손실, 모델 업데이트 지연, 생체정보 암호화와 플랫폼별 구현 부담 때문에 범용 서비스에는 한계가 있음을 짚는다.

REST API로 얼굴 감지, 두 이미지 비교, 등록 얼굴 검증, 그룹 내 얼굴 검색을 제공하는 구성을 소개한다. 사용자 정보·그룹·얼굴 이미지에서 추출한 encrypted embedding과 고유 face ID를 묶어 저장하고, 검색 시 그룹의 모든 feature와 유사도를 비교해 접근을 허용하거나 거부한다. 출입 시스템, 무인 판매점 성인 인증, 공연장 티켓 인증 사례를 통해 단말은 RGB 이미지만 전송하고 서버가 연산과 DB 관리를 맡는 장점을 보여준다.

마스크 데이터 부족을 3D landmark 기반 합성으로 보완하고, 가려지지 않은 얼굴 network의 feature를 teacher로 삼아 masked-face network가 유사한 표현을 학습하도록 유도한다. 인화 사진·태블릿 재생·3D 프린팅 가면 같은 spoofing 공격을 정의하고, 눈 깜빡임 같은 liveness, 혈류, 표면 반사, depth sensor를 이용한 방어 방식을 비교한다. RGB 기반 탐지와 감정·나이 추정 등 후속 API 계획도 함께 제시한다.