[NHN FORWARD 2020] 자연어 처리 기술을 활용한 문제 생성 시스템

기존 문제은행은 품질은 안정적이나 한정된 풀에서만 출제되어 학습 효율이 떨어진다. 대안인 패턴 매칭은 텍스트마다 동적으로 문제를 만들 수 있지만, 어휘와 패턴을 일일이 등록해야 하고 자연어의 속성을 반영하지 못하는 한계가 있음을 짚는다.

형태소 분석은 문장을 의미 최소 단위로 쪼개 표제어·품사 정보를 얻는 과정이다. 자연어 처리가 없으면 experience를 동사로 오인식해 잘못된 어법 문제를 만드는데, 주변 형태소 정보를 활용해 명사로 정확히 판별함으로써 이런 오류를 막는다.

스무 어절짜리 긴 영어 문장에서도 구문 분석은 핵심 동사와 그 주어를 정확히 찾아낸다. 패턴 매칭은 문장의 루트 동사를 알 수 없어 부적절한 문제를 만들지만, 구문 분석으로 문장 요소의 위계 관계를 파악해 올바른 어법 문제를 출제할 수 있다.

워드넷은 어휘 집합(신셋)과 의미 관계로 이뤄진 네트워크로 유의어 정보를 제공하고, 워드 임베딩은 단어를 밀집 벡터로 수치화해 비슷한 문맥의 어휘를 군집화한다. 둘을 조합해 문맥상 후보를 뽑고 실제 유의어인지 검증하며 유사 어휘 문제를 만든다.

텍스트랭크는 문장 간 키워드 유사도를 수치화해 다른 문장과 가장 많은 정보를 공유하는 핵심 문장을 추려낸다. 이를 통해 지문에서 문제로 적합한 문장을 선별하며, 하나의 지문으로 독해·어휘·어법 등 다양한 영어 문제를 생성하는 시스템을 정리한다.

초등 5학년 사회 교과서를 대상으로, 책 끝 인덱스 페이지의 단어와 본문 문장을 매핑해 단어-문장 셋을 만든다. 인명·지명·시간·기타로 개체명을 분류하고 구문 분석으로 주어·목적어·서술어를 찾아 템플릿에 넣어 질문형 문제를 생성한다.

처음 보는 교과서에서 인덱스 분류와 규칙 기반 구문분석이 실패하자, BERT+CRF 개체명 분석(94.3%)과 스택포인터 네트워크 구문분석기(한국어 약 83%)로 교체해 성능을 끌어올린다. NLP로 언어 능력을 평가한다는 역발상의 의미와 향후 과제로 마무리한다.