국내 최초 오픈소스 가드레일: Kanana-safeguard

kakao tech·if(kakao)25 2025·10개월 전·

#open-source#guardrails#prompt-injection#llm-safety#machine-learning#data-augmentation#korean-nlp

AI 요약

영어·서구 문화 중심의 안전 모델이 같은 개인정보·혐오 발화를 영어에선 위험, 한국어에선 안전으로 오판하는 공백에서 출발한다. 한국어 표현과 국내 정책을 반영해 공개한 오픈소스 Kanana-safeguard 세 모델의 설계와 데이터 전략을 따라간다.

핵심 포인트

기본 모델은 사용자·AI 양쪽의 범죄·괴롭힘 등 일곱 위험을, Siren은 의료·법률·투자·성인 인증처럼 단정하기 어려운 네 가지 법적 위험을, Prompt 모델은 injection·leaking을 작은 2.1B로 분류해 위험 범위와 입력 지점별로 크기·책임을 분담
Safe/Unsafe와 위험 code를 하나의 token으로 출력해 생성 지연을 줄이고, 전문 labeler가 한국어·문화 맥락을 반영한 1만~20만 규모 데이터를 만들되 양보다 말투·유형·단어 다양성을 증강
기본 문제부터 challenge까지 4단계 평가셋으로 오탐과 난도를 구분하고, prompt 모델은 한국어·영어를 함께 처리하며 정상 질문을 막지 않는 높은 precision을 우선 목표로 삼음
악성 문장을 번역·생성하면 정렬된 LLM이 거부하거나 공격을 따르는 함정을 입력 영역 분리·모델 선택으로 피하고, 거절·오라벨·유사문 필터링과 편향 보정으로 성능을 5%p 이상 높여 GPT-4.5 zero-shot보다 높은 F1·precision 달성

왜 읽나한국어 서비스에 AI 가드레일을 붙이려는 개발자에게 위험 유형별 모델 분할, 단일-token 설계, 공격 데이터 합성의 함정과 편향 보정까지 담은 오픈소스 안전 모델 구축기.

챕터별 상세

010:10 – 2:50

한국 서비스에 맞는 AI 가드레일

해외 안전 모델은 같은 개인정보·혐오 발화를 영어에서는 위험, 한국어에서는 안전으로 판단하는 등 언어와 문화의 공백이 있었다. 카카오는 사용자 입력과 AI 응답 앞뒤에서 유해 내용을 걸러내면서 한국어 표현과 국내 정책을 반영하는 별도 모델이 필요하다고 보고 Kanana-safeguard를 개발해 공개했다.

기본 모델은 사용자와 AI 양쪽의 범죄·괴롭힘 등 일곱 위험을 보고, Siren은 의료·법률·투자와 성인 인증처럼 단정하기 어려운 네 가지 법적 위험을 사용자 발화에서 찾는다. Prompt 모델은 injection과 leaking을 작은 2.1B 모델로 분류한다. 위험 범위와 입력 지점에 따라 모델 크기와 책임을 나눠 함께 사용하는 체계다.

Safe 또는 위험 code가 포함된 Unsafe 결과를 하나의 token으로 학습해 생성 지연을 줄였다. 전문 labeler가 한국어·문화 맥락을 반영한 1만~20만 규모의 데이터를 만들고, 단순 양보다 말투·유형·단어의 다양성을 증강했다. 반드시 통과해야 할 기본 문제부터 challenge까지 네 단계 평가셋으로 오탐과 난도를 구분해 성능을 측정했다.

두 번째 발표는 instruction을 덮는 prompt injection, 안전 정렬을 무너뜨리는 jailbreak, system prompt를 빼내는 leaking을 구분한다. 서비스 LLM에 입력을 전달하기 전에 Kanana-safeguard-prompt가 정상·공격을 판정해 차단한다. 한국어·영어를 함께 처리하고 모든 요청이 거치는 만큼 비용 효율적이며, 정상 질문을 막지 않는 높은 precision을 우선 목표로 삼았다.

악성 문장을 번역하거나 생성하면 안전 정렬된 LLM이 거부하거나 공격 지시를 따르는 문제가 있어 입력 영역을 명확히 분리하고 모델을 골라 사용했다. 합성 결과는 거절·오라벨·유사 문장을 다시 필터링하고, '모델' 같은 빈출 단어만으로 공격을 판단하지 않도록 반대 사례를 추가했다. 이 품질 개선은 분류 성능을 5%p 이상 높였고 GPT-4.5 zero-shot보다 높은 F1과 precision을 냈다.