llama3에 대한 Andrej Karpathy의 생각

메가존클라우드 기술 블로그가 Meta Llama3 출시에 대한 Andrej Karpathy의 기술적 분석을 번역 정리한 글이다. 토크나이저 어휘 확장(32K→128K), Grouped Query Attention 전면 도입, 15조 토큰 학습 스케일 증가가 핵심 변경 사항이다.

핵심 포인트

토크나이저 어휘 32K → 128K 확장으로 시퀀스 토큰 수 15% 감소, 다운스트림 작업 처리 효율 향상
Llama 2에서 대형 모델에만 적용되던 GQA(Grouped Query Attention)가 Llama 3에서는 8B 포함 모든 모델에 전면 도입
학습 데이터 2조 토큰(Llama 2) → 15조 토큰으로 확대, 코드 표현과 다국어 콘텐츠 비중 증가
Karpathy 핵심 인사이트: 현재 LLM들은 수렴 지점에 훨씬 미치지 못하고 100~1000배 이상 부족하게 학습됨
Llama 3 아키텍처 기반은 Llama 2와 유사하나 GQA·토크나이저·학습 스케일 3가지 핵심 개선

상세 정리

Llama 3 토크나이저 어휘 128K 토큰은 동일 텍스트를 더 적은 토큰으로 인코딩해 컨텍스트 창 효율 향상
GQA(Grouped Query Attention): 쿼리 헤드는 그대로 두고 키/밸류 헤드를 그룹화해 KV 캐시 메모리 감소, 추론 속도 향상
Llama 2 70B에서만 GQA를 사용했으나 Llama 3에서는 8B 소형 모델에도 전면 적용
학습 데이터 15조 토큰: 코드·수학·다국어 비중 강화로 다운스트림 벤치마크 성능 개선
Karpathy: 현재 오픈소스 LLM은 Chinchilla 최적 학습량 대비 크게 underfitted, 더 많은 데이터로 훈련하면 계속 성능 향상 가능
Llama 3 405B 모델의 경우 Meta의 GPU 클러스터 규모에서도 아직 수렴하지 않은 상태
실용적 시사점: 모델 크기보다 학습 데이터 규모와 품질이 LLM 성능 향상의 핵심 변수

왜 읽나Llama 3의 아키텍처 변경 사항(GQA 전면화, 토크나이저 확장, 학습 스케일)을 Karpathy의 시각으로 빠르게 파악하고 싶은 ML 엔지니어에게 핵심만 추려 제공한다.

메가존클라우드 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청