Name: [NHN FORWARD 2021] 언택트 시대를 위한 얼굴 인식 활용 방법
Uploaded: 2021-12-13T00:00:00Z
Duration: 22 min 8 s
Description: 얼굴 검출·랜드마크 정렬·CNN feature 추출·유사도 비교로 이어지는 얼굴 인식 파이프라인과 그 학습 특성을 설명한다. open-set 문제, 모바일 경량화, spoofing·마스크 대응부터 Cloud Face API와 실제 적용 사례까지 폭넓게 다룬다.

AI 요약

얼굴 검출·랜드마크 정렬·CNN feature 추출·유사도 비교로 이어지는 얼굴 인식 파이프라인과 그 학습 특성을 설명한다. open-set 문제, 모바일 경량화, spoofing·마스크 대응부터 Cloud Face API와 실제 적용 사례까지 폭넓게 다룬다.

핵심 포인트

카메라 이미지에서 얼굴 box·landmark를 찾아 크기·회전을 정규화한 뒤 CNN으로 고정 차원 feature vector를 만들고, 등록 feature와 유사도가 임계값 이상이면 동일 인물로 판정
학습에 없던 사람을 구분해야 하는 open-set 문제는 같은 사람 feature를 모으고 다른 사람을 멀리 보내야 하며, Triplet Loss의 pair 탐색 비용·한계를 짚고 Softmax에 margin을 넣어 클래스 내부 밀집·클래스 간 거리를 높이는 Angular Margin 계열의 장점 설명
모바일 CPU·메모리 제약에 depthwise convolution·비정규 부동소수점 제거·ONNX·TensorRT로 경량화하고, 사진·영상·가면 공격엔 움직임·혈류·texture·depth 분석, 부족한 마스크 데이터는 2D 합성·3D rendering으로 보강
얼굴 감지·두 얼굴 비교·등록 검증·DB 검색을 제공하는 Cloud Face API가 feature를 암호화해 face ID와 저장하고, 사내 출입·노트북 RGB 카메라 재택 보안·얼굴 티켓 발권에 anti-spoofing·마스크 분류와 함께 적용

왜 읽나얼굴 인식을 실제 제품에 올리려는 이들에게, 인식 파이프라인과 open-set 손실·모바일 경량화·spoofing 방어·API 설계·적용 사례를 한 흐름으로 훑어주는 개괄.

챕터별 상세

010:10 – 3:18

얼굴 검출부터 신원 확인까지

비접촉 결제와 인증 사례로 얼굴 인식의 쓰임을 소개하고, 카메라 이미지에서 얼굴 box와 landmark를 찾은 뒤 크기와 회전을 정규화하는 과정을 설명한다. 정렬된 얼굴을 CNN에 넣어 고정 차원의 feature vector를 만들고, 데이터베이스의 등록 feature와 유사도를 비교해 임계값 이상이면 동일 인물로 판정한다.

학습에 없던 사람을 테스트에서 구분해야 하는 open-set 문제는 단순 클래스 분류보다 같은 사람의 feature를 가깝게 모으고 다른 사람을 멀리 보내야 한다. Triplet Loss의 positive·negative pair 탐색 비용과 한계를 짚고, Softmax에 margin을 넣어 클래스 내부 밀집도와 클래스 간 거리를 높이는 Angular Margin 계열의 장점을 설명한다.

제한된 모바일 CPU와 메모리에서 추론하기 위해 depthwise convolution으로 연산량을 줄이고, 비정규 부동소수점 값을 제거하거나 ONNX·TensorRT 같은 가속 도구를 쓰는 방법을 소개한다. 인화 사진·영상·가면 공격에는 움직임·혈류·texture·depth 분석을 적용하며, 부족한 마스크 데이터는 2D 합성과 3D rendering으로 보강한다.

내부 모델을 쉽게 쓰도록 얼굴 감지·두 얼굴 비교·등록 얼굴 검증·DB 검색을 제공하는 cloud API를 설계한다. 입력 이미지에서 추출한 얼굴 feature를 암호화하고 face ID와 함께 저장하며, 요청한 ID의 feature 또는 전체 DB와 비교해 유사도를 반환한다. 콘솔 업로드와 REST 요청 양쪽에서 동일한 기능과 오류 정보를 제공한다.

사내 출입 시스템은 얼굴 검색 결과로 게이트를 열고, 위치·인원 가이드와 anti-spoofing·마스크 분류로 오검출과 악용을 줄인다. 재택 보안 시스템은 노트북 RGB 카메라만으로 본인·주변인·화면 노출을 실시간 감지해야 하므로 눈 깜빡임과 선명도 분석을 경량화해 적용한다. 예약자의 얼굴로 비접촉 티켓을 발권하는 후속 프로젝트도 제시한다.