AV1, H.265 트랜스코딩 테스트

카테노이드가 H.264 에서 H.265, AV1 으로 이어지는 코덱 발전을 정리하고 실제 트랜스코딩 결과를 넷플릭스의 VMAF 지표로 측정한 글이다. 결론은 코덱 세대가 올라갈수록 낮은 비트레이트에서 품질이 좋아지지만, 그 이득의 크기가 영상 종류에 따라 크게 갈린다는 것이다.

핵심 포인트

코덱은 데이터의 중복성과 불필요한 부분을 제거해 압축하므로, 프레임 간 차이가 적은 영상일수록 효율이 높다.
댄스 영상이나 뮤직비디오처럼 화면 전환과 움직임이 많고 비트레이트가 높은 영상에서 AV1 의 효용이 커진다.
반대로 온라인 강의 같은 정적인 영상은 코덱별 차이가 크지 않다. 실측에서 500kbps 댄스 영상은 32점 대 64점으로 두 배 차이가 났지만, 온라인 강의는 76점 대 85점으로 9점 차이에 그쳤다.
H.265 는 H.264 대비 압축비가 거의 두 배다. 4K 재생에 H.264 는 30~50Mbps 가 필요한데 H.265 는 10~20Mbps 면 된다.
AV1 은 H.264 및 H.265 대비 약 30퍼센트 압축 효율 개선을 제공하면서 로열티가 없다. 다만 인코딩 계산 복잡도가 높아 시간이 길어지고 고사양 하드웨어를 요구한다.

상세 정리

아무리 화질이 좋아도 디바이스에서 끊기면 볼 수 없으므로, 어떤 기기에서든 원본 화질을 유지하며 재생되는 것이 목표다.
카메라는 촬영 시 영상과 음성 데이터를 전처리하고 자체 인코딩해 저장하며, 재생 시에는 각각을 디코딩해 모니터와 헤드폰으로 보낸다.
미디어 회사는 촬영된 영상을 여러 디바이스에서 재생되도록 트랜스코딩하고, 해상도에 맞는 결과물이 선택되게 한다.
영상 품질을 결정하는 요소는 해상도와 비트레이트, 프레임 속도 셋이다. 해상도는 화면을 구성하는 픽셀 수, 비트레이트는 초당 처리 데이터 크기, 프레임 속도는 초당 정지 화면 수다.
라이브 방송은 촬영 즉시 일정 크기로 나눠 인코딩해 전송해야 한다. VOD 든 라이브든 비트레이트가 네트워크 대역폭보다 높으면 재생이 끊기고, 낮추면 품질이 떨어진다.
그래서 미디어 회사는 원본과 비슷한 화질에 낮은 비트레이트인 영상을 원하게 되고, 그 요구가 코덱 발전으로 이어졌다.
H.264 는 2003년, H.265 는 2013년에 나온 MPEG 대표 코덱이다. 각각 AVC 와 HEVC 로도 불린다.
HEVC 는 라이선스가 문제였다. MPEG LA 에서 독립한 HEVC Advance, Technocolor SA, Velos Media 로 파편화돼 각각과 계약해야 하는 불편이 생겼다.
AV1 은 그 라이선스 비용을 내던 구글, 아마존, 마이크로소프트, 애플, 인텔, 엔비디아, 삼성 등이 모인 AOM 에서 시작됐다. 오픈소스이자 로열티 프리다.
품질 측정은 육안이 아니라 넷플릭스의 VMAF 로 한다. 여러 알고리즘을 함께 적용해 원본과의 유사성을 0에서 100점으로 환산하며 93점 이상은 육안으로 차이를 구분하지 못한다.
측정은 VMAF 가 적용된 FFMetrics 툴로 했고, 비교 대상은 libx264 소프트웨어 인코딩과 h264_nvenc, hevc_nvenc, av1_nvenc 하드웨어 인코딩이다.
차이의 원인은 키프레임 구조에 있다. 움직임과 화면 전환이 많으면 키프레임과 인터프레임 사이 괴리가 커져 중복성이 낮아지고, 압축 기술의 효과가 줄어든다.
결론은 좋은 시청 경험을 위해 H.265 와 AV1 도입을 권하되, 영상 성격에 따라 기대 이득이 다르다는 것을 감안하라는 것이다.