카카오 Clean Platform이 spam·유해 content labeling에 cognitive psychology와 AI를 함께 적용한 사례다. 과도한 정보와 복잡한 정책으로 떨어지던 사람 판단의 속도·일관성을 UI 개선과 model·LLM 보조, feedback loop로 끌어올린 과정을 소개한다.
핵심 포인트- 판단에 불필요한 metadata는 외재적 인지 부하를 늘리므로 label·핵심 정책을 먼저 보여주는 단순한 화면으로 바꾸고, AI는 결정을 대신하지 않고 근거를 필요한 순간에 제시하는 보조 장치로 설계
- fine-tuned transformer가 label 후보를 추천하고 Grad-CAM으로 판단에 영향을 준 image 영역을 표시, multimodal LLM에는 role·policy·output format을 명확히 준 prompt로 별도 fine-tuning 없이 image spam 분류 보조
- 모호한 policy는 RAG bot에 질문하고 유사 vector content의 과거 label을 함께 제시, top-1·top-2 확률 차가 작은 margin sample을 재검수하는 active learning으로 어려운 사례를 찾아 model·similarity DB에 환류
- LLM이 spam 여부와 사유를 자연어로 설명해 monitoring을 돕고 AI 생성 답변엔 별도 safety guardrail 적용, unsafe만 학습하면 일상 문장을 과차단하므로 safe·normal data를 고르게 섞을 때 최적 분류 성능 확인
왜 읽나사람이 최종 판단하는 content moderation의 품질·속도를 높이려는 팀에게, 인지심리 기반 UX와 XAI·RAG·active learning·LLM guardrail을 엮는 실전 조합을 보여준다.