Media & AI 가속기를 탑재한 카카오클라우드 Video Instance 활용기

VT1은 FPGA 기반 U30, VT2는 MA35D 계열 accelerator를 장착해 video codec과 multi-stream transcoding을 hardware에서 처리한다. 지원 해상도·codec·동시 stream, file transcoding을 분할 병렬화하는 기능을 비교하며, 동일 workload에서도 card와 pipeline 특성에 따라 적합한 instance가 달라짐을 설명한다.

AI instance는 transcoding 자체보다 V70 DPU에서 Vision model inference를 빠르게 수행하는 데 초점을 둔다. Vitis AI와 GStreamer 기반 component로 quantized model을 실행하고, video decode·preprocessing·inference·postprocessing을 하나의 streaming pipeline으로 연결해 GPU와 다른 resource·deployment 특성을 제공한다.

60초 4K 60fps 영상을 여러 해상도로 동시에 변환하는 FFmpeg workload를 CPU, GPU, VT1, VT2에서 실행해 처리 시간과 실시간 배수를 비교한다. 단일 pipeline 결과뿐 아니라 card별 여러 stream을 늘렸을 때 latency가 어떻게 변하는지 확인해, accelerator의 장점이 높은 concurrency에서 더 분명해짐을 보여준다.

거리 영상의 차량을 탐지하는 예제로 input stream decode, frame resize, DPU inference, 결과 overlay와 output streaming을 구성한다. model name·class·quantization과 inference option을 JSON 설정으로 바꾸고 custom component를 compile해, media와 AI accelerator를 결합한 low-latency video analytics pipeline을 재사용한다.