발표자 소개와 화두
Graphcore에서 필드 애플리케이션 엔지니어링을 담당하는 김진용이 '미래를 앞당기는 힘은 어디에서 오는가'를 던지며 시작한다. 인간을 현명함보다 도전하는 존재로 규정하고, 유발 하라리를 인용해 만족하지 않고 변화를 꿈꾸는 본성을 이야기의 출발점으로 삼는다.
딥스페이스·심해처럼 아직 못 푼 영역에 이어 뉴럴 네트워크를 가장 어려운 도전으로 제시한다. 1947년 최초 컴퓨터 이후 인공지능 개념은 있었지만 구현이 어려웠음을 짚고, 콜럼버스가 달걀을 '깨서' 세웠듯 남들이 가지 않은 서쪽으로 도전한 제프리 힌턴과 Graphcore의 아키텍처를 소개한다.
GPU를 '지(G)' 학교, IPU를 '아이(I)' 학교에 빗댄다. 지 학교는 학생들이 600m 떨어진 도서관(외부 메모리)을 오가며 공부하지만, 아이 학교는 학생마다 책상·공책(온칩 메모리)을 줘 병목 없이 각자 진도를 나간다. 같은 과목끼리 모여 먼저 끝내면 다음 챕터로 넘어가는 효율을 강조한다.
컴퓨터 비전(고전 미술)과 자연어(현대 미술) 모델로 IPU와 GPU 성능을 비교한다. FP16 기준 인퍼런스에서 나쁘지 않은 결과를, 실질 성능에서는 최대 4배·평균 2.6배 학습 능력을 보이며, 각 사 공식 결과를 그대로 인용했음을 밝힌다. 이 차이가 '내 옆의 책상'인 분산 메모리에서 온다고 설명한다.
GPU의 SIMD(모든 코어가 동일 명령)와 달리 IPU는 MIMD로 코어마다 다른 명령을 수행함을 GC200 칩으로 설명한다. 1,472개 코어가 각각 6스레드를 벌려 총 8,832개 독립 스레드를 돌리고, CPU 하이퍼스레딩과 달리 각 코어가 자기 주 메모리를 가져 대학교 매점처럼 붐비지 않는다고 비유한다.
벡터 격자에 갇힌 기존 칩 대신 자유로운 그래프를 그릴 '하얀 도화지' IPU를 만든 이유를 밝히고, 소프트웨어 Poplar 엔진의 중요성을 강조한다. 컴퓨트-싱크-익스체인지를 반복하는 BSP 방식과 다음 데이터를 미리 가져오는 프리패칭으로, 하드웨어 변경 없이 SDK 업데이트만으로 1년간 성능을 끌어올린다.
3월 발표한 3세대 칩이 세계 최초 3D 적층 프로세스임을 소개한다. 2층으로 나눠 코어를 배치하니 전도율이 낮아져 클럭을 1.3에서 1.8GHz로 40% 올릴 수 있었고, 메모리가 코어 바로 옆에 있어 클럭 향상이 메모리 대역폭 증가로 이어진다. 실측 38~39% 성능 향상을 제시한다.
아이작 아시모프의 소설을 인용해 초지능을 향한 여정을 이야기하며, 3세대 칩 기반으로 10 AI-exaFLOP·4페타바이트 메모리·500조 파라미터를 현실적 금액으로 제공하겠다고 공표한다. 라지 모델에는 방대한 메모리 공유가 필수임을 짚고, NHN 클라우드와 함께하는 스케일한 여정을 강조하며 마무리한다.