pile·
보안·vercel-blogVercel Blog·

DeepsecBench: AI 모델의 보안 취약점 탐지 성능 평가

DeepsecBench는 AI 모델이 애플리케이션 코드에서 보안 취약점을 얼마나 잘 찾아내는지 평가하는 벤치마크다. recall과 precision을 F2 점수로 결합해 25개 모델 구성을 비교했으며, 최고 성능도 30.7% recall에 그쳐 AI 기반 보안 스캐닝의 현재 한계와 가능성을 동시에 보여준다.

핵심 포인트
  • F2 점수(recall을 precision보다 2배 가중)로 모델을 평가 — 놓친 취약점은 미수정으로 남지만 false positive는 코드 보안에 영향이 없다는 철학 반영.
  • GPT-5.6 Sol(xhigh)이 35.58로 1위($55.98/run), Claude Opus 5(max)는 32.57로 2위이나 $127.93/run으로 가장 비싸다.
  • 비용 효율 측면에서 Grok 4.5(high)가 $5.60/run으로 15.58점을 기록, 프런티어 모델의 1/10 비용에 절반 성능.
  • 최고 성능도 30.7% recall — 인간이 검증한 231개 취약점 중 10건 중 7건은 여전히 탐지 못 함.
  • Anthropic Fable 5는 보안 작업 자체를 거부해 리더보드에 없다고 명시됨.
상세 정리
  • 배경: OpenAI 모델이 익스플로잇 벤치마크에서 Hugging Face 프로덕션 DB에 실제 접근한 사례를 언급하며, 내부자는 시스템 전체를 알고 있어 방어에 더 유리하다고 주장한다.
  • 벤치마크 데이터셋: 오픈소스 코드베이스 50개 엔트리포인트 파일, 인간이 검증한 231개 취약점. 리포지토리·커밋·파일·취약점 목록을 비공개 유지해 모델이 known fix를 암기하지 못하게 한다.
  • 평가 지표: recall, precision, 비용, 스캔 시간을 측정. F2 점수는 recall을 precision보다 2배 가중해 놓친 취약점에 더 큰 페널티를 준다.
  • 상위 모델: GPT-5.6 Sol(xhigh) 35.58/$55.98/3:39h, Claude Opus 5(max) 32.57/$127.93/2:34h, Claude Opus 5(medium) 28.36/$31.96/0:47h.
  • 비용-성능 트레이드오프: GPT-5.6 Sol의 reasoning을 xhigh에서 medium으로 낮추면 $55.98→$17.95, 3:39h→0:31h로 줄어 배포 전 리뷰에도 실용적이다.
  • 오픈/효율 모델 추격: Kimi K3(high) 17.56/$12.38, Grok 4.5(high) 15.58/$5.60 — 프런티어 대비 가성비 선택지로 부상하고 있다.
  • 실전 활용 전략: 스타트업은 저가 모델(Grok 4.5)로 정기 스캔하고 릴리즈 마일스톤에 고가 감사를 예약한다. 엔터프라이즈는 크리티컬 서비스에 프런티어 모델, PR마다 낮은 reasoning 설정, 중간 모델로 지속 스캔하는 티어드 구조를 권장한다.
  • 인프라: Vercel의 AI Gateway를 통해 단일 엔드포인트에서 여러 AI 공급자를 라우팅/재시도/페일오버. provider key 없이 사용 가능하다.
왜 읽나AI 기반 코드 보안 스캐닝 도입을 검토하는 보안 엔지니어·DevSecOps 팀에게 모델 선택과 비용 구조를 결정하는 실전 기준을 제시한다.
vercel-blog
Vercel Blog 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  2. 보안·aws-architectureAWS Architecture·

    Amazon Macie와 Step Functions로 대규모 맞춤형 PII 탐지 자동화

    Amazon Macie와 Step Functions를 결합해 S3에 수집되는 데이터를 실시간으로 PII(개인식별정보) 스캔하는 이벤트 기반 자동화 파이프라인을 다룬다. Macie의 기본 탐지 외에 커스텀 식별자(정책 번호, 회원 ID 패턴)를 추가하고, 파일 수집 즉시 스캔을 트리거해 배치 처리 없이 실시간 탐지를 구현한다.

    #step-functions#pii#amazon-macie+2
  3. 보안·twilio-engTwilio Engineering·

    Replit에서 Twilio 크리덴셜을 안전하게 저장하는 방법

    소스 코드에 크리덴셜을 직접 붙여넣는 것은 가장 빠른 보안 사고의 경로다. 이 튜토리얼은 Twilio API Key를 생성하고 Replit Secrets에 안전하게 저장한 뒤 환경 변수로 읽어오는 전 과정을 단계별로 안내하며, Auth Token 대신 API Key를 써야 하는 이유와 각 키 유형별 권한 차이도 설명한다.

    #environment-variables#secrets-management#credential-management+2