필요한 순간 먼저 말을 걸어주는 온디바이스 AI

최신 스마트폰에서 안정적으로 돌릴 수 있는 약 3B 이하 모델은 방대한 지식 추론보다 주어진 맥락을 이해해 정해진 작업을 수행하는 데 강점이 있다. 민감한 대화를 외부로 내보내지 않는 개인정보 보호, 네트워크 없는 빠른 응답, Function Calling을 결합해 일정·장소·정보 탐색 같은 도움을 선제적으로 연결한다.

하나의 작은 모델이 다양한 도메인을 구분하고 휴대폰 주인이 누구인지까지 반영해 알맞은 질의와 도구 호출을 만들어야 한다. 복잡한 출력을 한 번에 요구하는 대신 대화를 요약하고 도움 가능성을 판별한 뒤 질의를 생성하는 단계로 분해해, 제한된 용량에서도 모델이 핵심 맥락에 집중하도록 학습 구조를 설계한다.

맥락 추출 품질을 원문 충실도, 휴대폰 소유자 관점, 수동성 회피, 유용성 등 네 가지 F 기준으로 정의하고 LLM judge로 일관되게 측정한다. 실제 대화의 개인정보를 학습에 쓰지 않도록 다양한 도메인과 화자 관계를 설계한 합성 데이터를 만들고, 성능이 우수한 Kanana 대형 모델의 출력을 교사 신호로 활용한다.

모바일 배포를 위해 사용하지 않는 토큰을 제거하고 양자화를 적용해 약 1B 모델의 크기를 원본 대비 크게 줄인다. 도움이 필요하지 않은 대화에서는 출력을 조기에 끝내 연산량을 절약하고, 실제 일정·장소 탐색과 비도움 대화 사례에서 도메인·도구 호출·호스트 중심 요약이 의도대로 생성되는지 확인한다.