[NHN Cloud make IT 2022] oneAPI: Solution for Cross-Platform Heterogeneous Computing

NHN Cloud·NHN Cloud make IT 2022 2022·2022년·

#gpu#performance-optimization#heterogeneous-computing#oneapi#sycl#high-performance-computing

AI 요약

CPU·GPU·FPGA·AI accelerator마다 CUDA·OpenCL 등 다른 language와 toolchain을 익혀야 해, 다른 device로 옮길 때마다 재구현과 유지보수가 반복되는 문제에서 출발한다. Intel oneAPI가 하나의 cross-architecture programming model로 이 부담을 줄이는 방식을 open standard SYCL, 최적화 library, CUDA 변환, profiling 도구까지 짚는다.

핵심 포인트

oneAPI를 Intel 전용이 아닌 누구나 구현·확장하는 open specification으로 설계하고, Khronos SYCL이 host CPU queue로 device kernel·data를 GPU·FPGA에 전달하며 backend driver 추가로 여러 vendor를 지원하는 구조 (Intel 구현 = Data Parallel C++)
math kernel·deep neural network·video·data analytics를 device별 최적화 library로 제공해, application이 algorithm을 재porting하지 않고 API 호출만으로 runtime이 적합한 binary를 선택 (의료 영상·speech·bio·기상 HPC 사례)
DPCT(및 open-source SYCLomatic)가 CUDA source 대부분을 SYCL·DPC++로 자동 변환하고 나머지를 개발자가 보완, vector add 예제로 memory allocation·kernel launch가 host·device queue 구조로 바뀌는 모습 비교
Advisor(GPU offload 이득·vectorization 저해 분석)·oneAPI GDB(GPU kernel source line debug)·VTune(CPU·GPU·memory bottleneck profiling)과 Base+HPC+AI Toolkit, Intel Developer Cloud 도입 경로

왜 읽나이기종 accelerator를 여러 vendor에 걸쳐 개발·유지해야 하는 HPC·AI 엔지니어에게, CUDA lock-in을 줄이는 open 표준 SYCL 기반 이식·최적화·profiling 워크플로우를 소개한다.

챕터별 상세

010:06 – 3:50

이기종 compute가 만든 programming 문제

AI와 HPC workload가 CPU뿐 아니라 GPU·FPGA·전용 accelerator를 함께 사용하면서 device마다 CUDA·OpenCL 등 다른 language와 tool을 익혀야 하는 문제를 제시한다. 특정 hardware용 code를 다른 device로 옮길 때 다시 구현하고, workload 크기가 바뀔 때마다 migration과 maintenance를 반복하는 비용이 커진다. oneAPI는 한 programming model로 여러 architecture를 지원하면서 native 수준의 성능을 목표로 이 부담을 줄인다.

oneAPI를 Intel 전용 제품이 아닌 누구나 구현·확장할 수 있는 open specification과 ecosystem으로 설계한 배경을 설명한다. Khronos의 C++ 기반 SYCL은 host CPU에서 queue를 통해 device kernel과 data를 GPU·FPGA 등에 전달하며, backend driver를 추가하면 여러 vendor hardware를 지원할 수 있다. Intel의 SYCL 구현인 Data Parallel C++와 Codeplay 등 다른 구현 사례를 통해 source portability와 vendor 확장 구조를 보여준다.

oneAPI는 math kernel, deep neural network, video processing, data analytics·machine learning 같은 고비용 연산을 device별로 최적화한 library로 제공한다. Application은 hardware마다 algorithm을 다시 porting하지 않고 API를 호출하면 runtime이 device를 식별해 적합한 binary를 사용한다. 의료 영상, speech·AI inference, bio simulation과 기상·tsunami 같은 HPC workload에서 Intel과 타 vendor device를 함께 지원한 적용 사례를 소개한다.

Intel oneAPI package가 compiler, DPC++, optimized Python·TensorFlow·PyTorch·OpenVINO, domain library와 분석 도구를 묶어 제공하는 구성을 설명한다. 기존 CUDA ecosystem을 옮기는 진입 장벽을 줄이기 위해 DPCT가 CUDA source의 대부분을 SYCL·DPC++ code로 자동 변환하고 나머지를 개발자가 보완하는 workflow를 제시한다. Vector add 예제로 memory allocation과 kernel launch가 host·device queue 구조로 바뀌는 모습을 비교하고, open-source SYCLomatic 경로도 소개한다.

Advisor는 특정 loop나 function을 GPU로 offload했을 때의 성능 이득과 vectorization 저해 원인을 분석하고, oneAPI GDB는 GPU kernel을 source line 단위로 debugging한다. VTune은 CPU·GPU·memory·storage·network와 function별 시간을 profiling해 system과 application bottleneck을 찾는다. Base Toolkit 위에 HPC·AI Toolkit을 추가하는 설치 방식, community와 유료 support, 최신 Intel device와 toolkit을 시험할 수 있는 Developer Cloud 및 학습 자료까지 실제 시작 방법을 정리한다.