pile·

[NHN Cloud make IT 2023] NHN Cloud의 성장과 기술의 방향성에 대하여 - PART 2

NHN Cloud·NHN Cloud make IT 2023 2023··
#kubernetes#data-platform#generative-ai#cloud-security#cloud-infrastructure#cpu-acceleration#software-defined-networking

챕터별 상세

010:50 – 18:40

Xeon 내장 accelerator와 cloud 효율

4세대 Intel Xeon은 core 수와 일반 연산 성능뿐 아니라 특정 cloud workload를 처리하는 여러 accelerator를 CPU 안에 통합한다. AMX는 AI matrix 계산을, DLB는 service mesh load balancing을, DSA·IAA는 data 이동·압축·scan을, QAT는 TLS 암호화와 압축을 offload한다. CPU가 application logic에 더 많은 core를 쓰게 해 throughput과 latency를 개선하며, 작은 fine-tuning·inference는 별도 대형 GPU 없이도 수행할 수 있다는 선택지를 제시한다.