Prompt Attack에 대항하는 공든 요새 쌓기: lab.fortress

일반적인 유해 발화를 유도하는 safety 문제와, 서비스의 동작을 바꾸거나 내부 정보를 훔치려는 prompt attack을 구분한다. 그중 instruction을 우회하는 jailbreak, 시스템 프롬프트를 탈취하는 prompt leaking, 악의적 텍스트로 설정을 조작하는 prompt injection에 집중한다. 공격은 여러 유형이 결합될 수 있어 단순 키워드보다 서비스 맥락과 위험도를 함께 보는 입력 가드레일이 필요하다.

응답 속도, 한국어·영어 지원, 서비스 모델과의 분리라는 조건으로 생성형과 분류형 후보를 9개 공개 데이터셋의 F1로 비교했다. 크기보다 prompt attack 학습 데이터 포함 여부가 성능에 더 큰 영향을 줬고, 8B 미만의 빠른 모델을 기반으로 선택했다. 공개 데이터에 부족한 예금·이체 등 금융 시나리오와 친절한 표현의 공격을 만들어 금융 공격 비중을 1% 미만에서 약 40%로 높였다. 서로 다른 샘플과 토큰 길이로 학습한 여러 모델을 ensemble해 길이 편향을 줄였고, 내부·외부 평가에서 높은 성능을 확보했다.

출시 첫 주 공격 비율은 약 0.38%였지만 사용이 안정되며 4주차에는 약 0.1%로 낮아졌다. 실제로는 시스템 지시 무력화, 모델·학습 데이터 탈취, 비윤리적 답변 유도가 대표적이었고 학습 데이터에 포함된 유형은 잘 차단됐다. 가드레일이 놓친 요청도 후속 방어 체계와 서비스 모델의 safety 정책이 다시 막는 다층 구조를 사용한다. 공격 사용자는 같은 유형을 표현만 강화해 하루 동안 반복하는 경향이 있었고, 장기적으로는 정상 사용으로 돌아오는 패턴도 관찰했다.

산학 협력으로 거절 특성의 평균 차이를 teacher에 주입해 일반화된 student를 만드는 self-distillation과, 금융·의료·법률을 아우르는 공격 데이터 생성·필터링 파이프라인을 연구했다. 단일 입력만 보는 기존 방식에서 벗어나 이전 대화와 응답 전체를 함께 판단하는 multi-turn input guardrail로 누적 공격을 탐지한다. 입력이 공격적이어도 모델이 안전하게 답한 경우는 허용하고 위험한 출력만 추가 차단하는 output guardrail도 준비해, 모델 교체 시에도 서비스 전체의 안전성을 유지하려 한다.