pile·
인프라 / DevOps·stackoverflow-blogStack Overflow Blog·

AI 가 CPU 를 주고 또 빼앗는다

문제AI 학습과 추론 워크로드 수요가 폭발적으로 늘면서 전력·공급망·칩 성능 최적화를 동시에 충족해야 하는 데이터센터 레벨 과제가 부상했다.
접근AMD가 칩렛 아키텍처로 CPU·GPU를 모듈식으로 조합하고, 공유 메모리 기반 이기종 컴퓨팅(ROCm 오픈 에코시스템)을 구현. 자체 파인튜닝 모델로 AI 기반 칩 설계 최적화 루프를 구축해 72 GPU Helios 플랫폼을 오픈 스탠다드 랙에 통합했다.
결과MLPerf 벤치마크에서 100만 tokens/sec 이상 달성. AI 기반 설계 최적화로 기존 방식으로는 불가능했던 성능 개선을 복리로 실현했다.
stackoverflow-blog
Stack Overflow Blog 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1