Amazon Macie와 Step Functions를 결합해 S3에 수집되는 데이터를 실시간으로 PII(개인식별정보) 스캔하는 이벤트 기반 자동화 파이프라인을 다룬다. Macie의 기본 탐지 외에 커스텀 식별자(정책 번호, 회원 ID 패턴)를 추가하고, 파일 수집 즉시 스캔을 트리거해 배치 처리 없이 실시간 탐지를 구현한다.
핵심 포인트- 이벤트 기반 설계: S3 파일 도착 → EventBridge 트리거 → Step Functions 오케스트레이션 → Macie 스캔 → SNS 알림. 배치 대신 파일 단위 실시간 탐지.
- S3 3버킷 패턴: raw(원본) → staged(처리 중) → scanned(완료). 처리 상태를 버킷으로 명시적 분리.
- Macie 커스텀 식별자로 조직 특화 패턴 탐지: "POL-[0-9]{6,10}"(정책 번호), "MEM-[A-Z]{2}[0-9]{6}"(회원 ID) 등 정규식 패턴 등록.
- Step Functions 5단계 상태 머신: TriggerScan → WaitForMacie(60초 대기) → CheckStatus → GetFindings → MoveFiles.
- 운영 제약: Macie 커스텀 식별자 제한 — 분류 작업당 최대 30개, 계정 전체 1만 개 한도. 고용량 시 배치 최적화 필요.
상세 정리- 파이프라인 설계 원칙: 배치 처리 대신 객체 단위로 전용 Macie 분류 작업 생성 — 수집 시점에 즉시 PII 탐지가 목표. 비용 최적화보다 실시간성 우선.
- S3 3버킷 패턴: raw 버킷에 파일 도착 → staged로 복사 후 스캔 → 완료 후 scanned 버킷 이동. 각 단계 상태를 버킷 위치로 가시화.
- EventBridge 역할: S3 PutObject 이벤트를 수신해 Step Functions 실행 자동 트리거. 수동 개입 없이 파이프라인 시작.
- Step Functions Step 1 — TriggerScan: 객체를 staged 버킷으로 복사, Macie 분류 작업 시작.
- Step Functions Step 2 — WaitForMacie: 60초 고정 대기 (Macie 처리 시간 확보).
- Step Functions Step 3 — CheckStatus: Macie 작업 완료 여부 폴링. 미완료 시 Step 2로 루프.
- Step Functions Step 4 — GetFindings: PII 탐지 결과 조회, CSV/JSON 감사 보고서 생성.
- Step Functions Step 5 — MoveFiles: 처리 완료 파일을 scanned 버킷으로 이동, staged 정리.
- 커스텀 식별자: 정규식으로 조직 특화 패턴 정의 — Macie 기본(주민번호, 신용카드 등) 외 보험 정책 번호(POL-[0-9]{6,10}), 회원 ID(MEM-[A-Z]{2}[0-9]{6}) 예시.
- 보안 강화: SSE-S3 또는 고객 관리 KMS로 S3 암호화, SNS SSE-KMS, CloudTrail S3 이벤트 감사 트레일. 멀티테넌트는 테넌트별 스택 분리 배포 권장.
- Macie 제약: 분류 작업당 최대 30개 커스텀 식별자. 계정 전체 1만 개 한도. 고용량 환경에서는 여러 객체를 단일 작업으로 배치 처리해 API 오버헤드 절감.
- 확장 가능성: Athena로 JSON 결과 분석(트렌드 파악), Step Functions 격리 브랜치로 발견 시 자동 격리, Security Hub 연동으로 통합 보안 대시보드.
왜 읽나S3에 수집되는 데이터에 자동으로 PII를 탐지하고 컴플라이언스 보고서를 생성해야 하는 데이터 엔지니어와 보안 담당자에게 이벤트 기반 자동화 파이프라인의 구체적 구현 레퍼런스.
AWS Architecture·
Twilio Engineering·
Cloudflare Blog·
LY Corporation·