[NHN Cloud make IT 2022] 딥러닝 OCR(문자 인식) 서비스 성장기

NHN Cloud·NHN Cloud make IT 2022 2022·2022년·

#transformer#document-ai#ocr#computer-vision#deep-learning#synthetic-data

AI 요약

NHN Cloud OCR이 입력 이미지에서 문자 영역을 검출·인식하고 문서별 key-value로 정제해 반환하는 전체 과정을 설명한다. 사용자가 이미지 한 장을 REST API로 보내면 사업자등록증처럼 문서 유형에 맞춘 항목을 구조화해 돌려주는 흐름을 축으로, 모델 발전과 데이터 전략, 확장 로드맵을 짚는다.

핵심 포인트

문자 위치를 찾는 Text Detection은 사각형·polygon·굴곡 경계 등 문서 특성에 따라 출력이 달라지며 box regression과 pixel segmentation의 장단점을 비교, 일반 문서에선 detection·recognition을 독립 최적화하는 편이 효과적
문자 인식은 이전 출력에 의존하는 sequence 문제로 RNN·LSTM·GRU에서 Transformer encoder-decoder로 발전했고, multi-scale feature extractor와 attention alignment를 결합해 번호판 성능을 개선
공개·합성·직접 수집 데이터로 나눠 구축하고, 배경·폰트·왜곡·노이즈를 조합한 합성 데이터와 신용카드 양각 숫자·신분증 홀로그램 재현으로 긴 꼬리 실패 패턴까지 학습
사업자등록증·신용카드·번호판 운영 사례에서 나아가 신분증 자동 분류, General OCR, 표의 행·열 관계까지 읽는 Document Understanding으로 확장

왜 읽나실서비스 수준의 문자 인식을 만들려는 엔지니어에게, 모델 선택만큼 데이터 전략과 문서별 특화가 정확도를 좌우함을 보여주는 사례.

챕터별 상세

010:07 – 5:39

OCR 서비스의 입력부터 구조화 응답까지

OCR을 이미지 속 문자를 기계가 읽을 수 있는 문자열로 바꾸는 기술로 정의하고, 문서 이미지의 전처리·문자 영역 검출·문자 인식·정보 정제 흐름을 설명한다. 사용자는 이미지 한 장을 REST API로 전달하고, 서비스는 사업자등록증처럼 문서별로 정의된 항목을 key-value 형태로 구조화해 반환한다. 고객 업무에 따라 추출 명세를 조정할 수 있다는 점도 짚는다.

OCR의 핵심을 문자 위치를 찾는 Text Detector와 잘라낸 영역을 읽는 Text Recognition으로 나눈다. Detector의 출력은 사각형, 네 점 polygon, 굴곡진 경계처럼 문서 특성에 따라 달라질 수 있으며, box regression과 pixel segmentation 방식의 장단점을 비교한다. 두 단계를 합친 end-to-end 모델도 곡선 문자에는 유리하지만 일반 문서에서는 각 모델을 독립 최적화하는 편이 효과적일 수 있다.

문자 인식이 이전 출력에 의존해 다음 문자를 예측하는 sequence 문제라는 점에서 RNN, LSTM, GRU의 적용 배경을 설명한다. 이어 Transformer의 encoder가 이미지 특징과 픽셀 관계를 추출하고 decoder가 attention으로 문자를 순차 생성하는 구조를 살펴본다. Self-attention뿐 아니라 multi-scale feature extractor와 attention alignment를 결합해 특정 문서와 번호판에서 성능을 높인 시행착오도 공유한다.

좋은 모델만으로는 서비스 정확도를 확보할 수 없으므로 데이터를 공개 데이터, 합성 데이터, 직접 수집·라벨링 데이터로 나눠 구축한다. 배경·폰트·왜곡·노이즈를 조합한 합성 데이터로 실제 촬영 조건의 긴 꼬리 사례를 보완하고, 신용카드의 양각 숫자와 신분증 홀로그램을 재현한 전처리 로직을 소개한다. 현실적인 난이도의 데이터를 반복 생성해 모델이 드문 실패 패턴까지 학습하도록 만든다.

사업자등록증에서 상호·대표자·등록번호를 구조화하고, 다양한 디자인과 양각 숫자를 가진 신용카드를 인식하는 운영 사례를 보여준다. 자동차 번호판은 원근 왜곡과 두 줄 배치 때문에 일반적인 한 줄 recognition과 다른 multi-scale·alignment 구성이 필요했음을 설명한다. 신분증 자동 분류, 임의 이미지의 모든 문자를 읽는 General OCR, 표의 행·열 관계까지 해석하는 Document Understanding으로의 확장 계획도 제시한다.