DEVIEW 2014 - Keynote

NAVER LABS·DEVIEW 2014 2014·2015년

AI 요약

DEVIEW 2014 키노트가 D2 개발자 지원 프로그램 소개에 이어 '개발자가 알아야 할 하드웨어 이야기'를 전한다. 멀티코어 시대에 왜 새 CPU를 사도 프로그램이 저절로 빨라지지 않는지를 고전 이론으로 짚는다.

핵심 포인트

D2는 컨퍼런스·소모임·오픈소스를 지원하며, 12월 오픈소스로 공개될 분산 트레이싱 시스템 핀포인트(Pinpoint)와 스타트업 지원 프로그램을 처음 선보인다
CPU 클럭은 전력·발열 한계로 2004년 이후 정체됐고, 칩은 코어 수를 늘리는 멀티코어·매니코어 시대로 전환했지만 '공짜 점심은 끝났다'
암달의 법칙(직렬 부분은 코어를 늘려도 안 빨라짐)과 다크 실리콘(전력 제약으로 모든 트랜지스터를 켤 수 없음)으로 한계를 설명하고, GPU·FPGA 코프로세서와 루프 언롤링 같은 기법으로 하드웨어를 이해해야 하는 이유를 제시한다

왜 읽나멀티코어·병렬화 시대에 성능을 제대로 끌어내려면 하드웨어를 알아야 한다는 점을 이론과 사례로 이해하려는 개발자에게 유용하다.

챕터별 상세

010:00 – 4:52

DEVIEW 2014와 D2 — 개발자 지원과 핀포인트

세 번째 키노트 순서를 맞아 발표자가 분량이 많다며 빠르게 진행을 시작한다. 먼저 DEVIEW 2014의 규모와 네이버 개발자 지원 프로그램 D2를 소개하는데, 올해 40개 회사가 참여하고 약 600명이 참석하며 이틀간 50여 개 세션이 진행되고 외부 연사 비중이 80%로 높아졌다. '최고의 기술을 나누고 함께 성장하자'는 변함없는 목적 아래, D2는 다수의 컨퍼런스와 학술 대회를 지원했고 소모임·스터디 486개를 지원했으며 올해는 지방 4곳 세미나와 첫 대학생 세미나를 시작했다. 오픈소스 활동도 4명의 풀타임 개발자와 약 33개 프로젝트, 작년 11월 이후 누적 다운로드 260만 건, 사내 약 8천 개 프로젝트 규모로 소개한다.

이어 12월경 오픈소스로 공개할 분산 트레이싱·트러블슈팅 시스템 핀포인트(Pinpoint)를 처음 선보인다. 대규모 분산 시스템에서 요청의 흐름과 전체 서버 인프라의 상태를 파악하고, 특정 서버 간 호출을 따라가며 코드가 어떻게 흘러가는지까지 추적할 수 있는 시스템이다. 또 새로 시작하는 스타트업 지원 프로그램으로 얼리 스테이지 스타트업에 공간·인프라와 네이버 개발자·디자이너의 기술 지원, 오픈 API 활용을 제공하고 중장기로 금액 제한 없이 투자하겠다고 밝힌다. D2 소개를 마무리하며, 자신이 겪은 짧은 에피소드를 통해 두 번째 키노트 '개발자들이 알아야 할 하드웨어 이야기'로 자연스럽게 넘어간다.

발표자는 4년 전 미투데이 인프라 시절의 장애 에피소드로 하드웨어 이야기를 시작한다. memcached 서버 디스크가 가득 차 100GB 넘게 쌓인 메일을 rm으로 지우려다, 디스크와 메모리를 단일 스레드가 처리하느라 CPU 코어 0번 하나만 100%이고 나머지는 놀고 있는 현상을 목격한 일화다. 여기서 두 가지 의문, '왜 CPU 클럭이 2.2GHz 수준에 머무는가'와 '왜 나머지 코어를 다 쓰지 못하는가'가 나온다. 이를 풀기 위해 2004년으로 돌아가는데, 당시 펜티엄4가 이미 3.6GHz였고 인텔은 2010년까지 30GHz를 가겠다고 발표했었다. 그러나 실제로는 정반대로, 발표 시점 최고 서버 스펙이 3.4GHz로 오히려 낮아졌다. 2004년을 기점으로 CPU 클럭 상승이 꺾인 것이다.

근본 원인은 전력과 발열이다. 클럭을 올리려면 더 많은 전력이 필요하고 그만큼 열이 나는데, 이 열을 식히지 못해 더는 속도를 올릴 수 없게 됐다. 그래서 클럭을 낮추는 대신 칩 하나에 코어 개수를 늘리는 방향으로 갔다. 약 35년간의 마이크로프로세서 트렌드 그래프를 보면 트랜지스터 개수는 계속 늘지만 단일 코어 성능은 2004년 이후 정체되고, 대신 코어 개수가 늘어나는 양상으로 멀티코어·매니코어 시대가 시작됐다. 코어가 2·4·16·32개로 늘어나는 흐름을 멀티코어로, 더 나아가 매니코어 사례로 192개 수준 코어를 갖는 모바일 GPU를 든다. 다만 코어가 많아진다고 프로그램이 저절로 빨라지지는 않는다. '공짜 점심은 끝났다'는 명제처럼 새 CPU를 사도 프로그램이 자동으로 빨라지지는 않으며, 쿼드코어를 사면 정말 손쉽게 빨라지는지 질문을 던진다.

코어가 많아도 프로그램이 자동으로 빨라지지 않는 이유를 고전 이론으로 설명한다. IBM 출신 인물이 1967년 발표한, 3~4장 분량이지만 가장 많이 인용된 논문에서 나온 암달의 법칙(Amdahl's Law)이다. 프로그램을 병렬화 가능한 부분과 직렬(serial) 부분으로 나누면, 병렬 부분은 코어를 줄수록 빨라지지만 직렬 부분은 아무리 코어를 줘도 빨라지지 않는다. '직렬 비율이 50%면 2배 빠르게 만들 수 있는가'라는 질문의 답은, 직렬 50%면 코어를 아무리 늘려도 속도 향상이 2배에 수렴해 더 못 간다는 것이다. 쿼드코어를 사도 4배가 되지 않는다.

또 다른 한계가 다크 실리콘(dark silicon)이다. 전력 제약 때문에 칩의 모든 트랜지스터를 동시에 켤 수 없어, 공정이 미세해져 코어 수는 늘어도 실제로는 일부만 가동된다. ARM CTO가 2010년에 새 혁신 없이는 다크 실리콘 시대를 맞을 수밖에 없다고 발표한 점도 인용한다. 현실적 솔루션으로 GPU와 FPGA 같은 코프로세서 활용을 제시하는데, 마이크로소프트 빙 검색이 FPGA를 약 1,600대 도입해 처리량 약 2배, 지연시간·비용 각 약 30% 절감을 이룬 사례와 바이두의 FPGA 실험을 든다. 끝으로 '왜 소프트웨어 개발자가 하드웨어를 알아야 하는가'에 1979년의 루프 언롤링(loop unrolling) 기법으로 답한다. 루프를 4개 스텝으로 펼치면 분기 검사 오버헤드 제거, CPU 파이프라인(IF/ID/EX/MEM/WB)의 효율적 활용, ALU의 곱셈·덧셈 유닛 동시 사용으로 속도가 2배 이상 빨라지는데, 이런 코드는 하드웨어를 모르면 작성할 수 없다. 자기가 다루는 레이어를 이해하는 것이 모든 것의 기본이라는 메시지로 키노트를 맺는다.