[NHN FORWARD 2021] 텍스트 데이터를 숫자로 변환하기: 자연어 처리의 실무 활용 방법

NHN Cloud·nhn-forward-2021 ·2021년·

#nlp#data-visualization#glove#word-embeddings#text-analysis#n-gram

AI 요약

앱스토어·소셜미디어의 고객 리뷰를 GloVe 임베딩으로 정량화해 비즈니스 분석에 연결한 실무 실험을 소개한다. 별점보다 풍부하지만 사람이 직접 비교하기 어려운 수만 건의 비정형 텍스트를 숫자로 바꾸는 end-to-end 과정을 따라간다.

핵심 포인트

빈도 기반의 한계와 Word2Vec의 local context 편중을 보완해, 코퍼스 전체의 단어 동시 등장 확률을 학습하는 GloVe(Stanford의 Wikipedia 40만 단어 공개 사전)를 선택
PayPal·Revolut·Stripe·Wise 4개 핀테크의 앱스토어·구글플레이·페이스북·트위터 리뷰를 Google Translate로 영어화하고 stopword·특수문자를 제거해 41,020개 문서를 구성
플랫폼·자산관리·투자 등 14개 서비스별 keyword에 -1.5~1.5 긍부정 weight를 부여하고, GloVe vector로 유사도를 계산해 50% 이하는 버리며 다단어는 N-gram similarity로 처리해 가중 점수를 산출
기업·서비스별 시각화 결과를 Eliminate·Reduce·Raise·Create의 ERRC 프레임워크에 매핑해 강화·신설 영역을 도출하고, API 기반 실시간 수집으로 시장 반응 모니터링에 확장하는 방향 제시

왜 읽나리뷰 텍스트를 감으로 읽는 대신 임베딩·가중 점수·전략 프레임워크로 실제 의사결정에 연결하려는 데이터·마케팅 실무자에게.

챕터별 상세

010:10 – 2:49

고객 review를 측정 가능한 데이터로

Social media와 app store review는 별점보다 고객의 생각과 감정을 풍부하게 담지만, 수만 건의 비정형 text를 사람이 직접 읽어 객관적으로 비교하기는 어렵다. 발표는 이 text를 NLP로 정형화된 숫자 데이터로 변환하고, 분석 결과가 실제 의사결정에 쓰이도록 만드는 end-to-end 실험의 범위를 설정한다.

단순 빈도 기반 방식은 단어 의미의 관계를 추론하기 어렵고 Word2Vec 계열 예측 방식은 local context에 집중한다는 차이를 설명한다. GloVe는 corpus 전체의 단어 동시 등장 확률을 학습해 두 관점을 결합하고, 의미가 가까운 단어를 vector 공간에 배치한다. Stanford가 Wikipedia 40만 단어로 만든 공개 영어 embedding dictionary를 실험 기반으로 선택한다.

PayPal·Revolut·Stripe·Wise를 대상으로 app store, Google Play, Facebook, Twitter와 review site의 문서를 수집한다. GloVe 영어 model을 쓰기 위해 Google Translate API로 변환하고 stopword와 특수문자를 제거해 41,020개 문서를 만든다. Platform·자산관리·투자 등 14개 service별 keyword와 긍정·부정 의미를 나타내는 -1.5~1.5 weight를 설계한다.

미리 학습한 GloVe vector dictionary를 불러와 정제 문서와 service keyword의 similarity를 계산하고 50% 이하 결과는 버린다. 여러 단어로 구성된 keyword는 N-gram similarity로 처리하며, 각 문서를 token list로 나눠 category별 keyword와 반복 비교한 뒤 긍정·부정 weight를 적용한다. 누적 점수를 dataframe의 기업·service column에 정렬해 비정형 text를 분석 가능한 수치로 바꾼다.

점수 원형만으로는 중요도를 읽기 어려워 기업과 fintech service별로 시각화하고, 낮은 비용으로 가치를 높이는 ERRC의 Eliminate·Reduce·Raise·Create 기준에 매핑한다. 각 기업의 주력 사업과 고객 반응 점수를 함께 비교해 강화하거나 새로 만들 영역을 예시로 도출한다. 분석을 API 기반 정기·실시간 수집으로 확장하면 시장 반응 monitoring에 활용할 수 있다고 제안한다.