과연 GPT-3는 얼마나 똑똑한 걸까?

GPT-3의 언어 능력을 57개 분야 15,908문제로 구성된 대규모 객관식 benchmark로 평가한 연구를 해설한다. 기존 GLUE와 SuperGLUE가 빠르게 포화된 뒤 지식과 추론을 함께 묻는 MMLU가 왜 필요했는지 설명한다. 가장 큰 GPT-3는 43.9%를 기록했지만 작은 모델들은 무작위 수준에 머물렀고, 특화된 UnifiedQA는 훨씬 작은 크기로 비슷한 점수를 냈다.

핵심 포인트

GLUE와 SuperGLUE는 공개 후 약 1년 만에 모델이 인간 수준에 도달해 범용 언어 능력을 구분하기 어려워졌다.
MMLU는 수학, 법학, 물리, 의학, 외교, 경제 등 57개 분야의 사지선다 15,908문제로 지식과 추론을 폭넓게 측정했다.
1,750억 parameter GPT-3는 43.9%로 무작위 기준 25%를 넘었지만 전문가 수준과는 큰 차이가 있었다.
GPT-3는 인문·사회 분야보다 공학·자연과학에서 약해, 암기된 지식과 계산·추론 능력 사이의 차이를 드러냈다.
27억, 67억, 130억 parameter 모델은 모두 약 25%에 그쳐 같은 학습 방식에서도 규모에 따라 능력이 급격히 달라졌다.
30억 parameter UnifiedQA는 39%를 기록해 범용 모델의 약 1/60 크기로 유사한 성능을 냈고 task 특화 학습의 효율을 보여줬다.

상세 정리

기존 benchmark: GLUE는 문법 판단 CoLA, 문장 유사도 STS-B, 논리 관계 MNLI 등 아홉 task로 구성됐다. 모델이 빠르게 인간 점수를 넘자 더 어려운 여덟 task의 SuperGLUE가 나왔다.
포화 문제: SuperGLUE도 약 1년 만에 인간 점수와 0.6점 차이까지 좁혀졌다. benchmark 점수는 높지만 모델의 전체 언어 능력이 사람과 같다고 볼 수 없어 평가 기준 자체를 다시 설계해야 했다.
MMLU 발상: 특정 NLP task 대신 사람이 여러 학문 분야에서 받는 시험과 비슷한 객관식 문제를 제시한다. 고등학교·대학 수학, 법학, 물리, 의학처럼 서로 다른 전문 지식과 reasoning을 함께 요구한다.
데이터 규모: 총 57개 분야, 15,908개 문제 중 14,080개를 test에 사용했다. 사지선다이므로 아무 정보 없이 고르면 기대 정확도는 25%다.
GPT-3 결과: 가장 큰 1,750억 parameter 모델은 43.9%를 기록했다. 무작위보다 분명히 높고 여러 분야를 단일 모델로 푼 점은 인상적이지만 각 분야 전문가가 기대할 수준과는 거리가 있다.
분야 차이: 인문·사회과학 점수가 공학·자연과학보다 높았다. 학습 corpus의 분야 편향이나 인문 문제의 암기 비중, 자연과학 문제의 계산·추론 비중이 원인 후보로 제시됐다.
결과 해석: GPT-3는 대규모 text에서 next-token prediction만 학습했는데도 여러 분야에서 25%를 넘겼다. 점수 자체와 별개로 pretraining이 어느 정도 지식과 문제 해결 신호를 만든다는 증거다.
Model size: 같은 data와 objective로 학습한 27억, 67억, 130억 모델은 무작위 수준을 벗어나지 못했다. 1,750억 모델에서만 성능이 크게 나타나 규모 증가가 연속적인 개선만이 아니라 새로운 능력 출현과 연결될 수 있음을 시사했다.
특화 모델: 질의응답 data 중심으로 학습한 UnifiedQA는 약 30억 parameter인데도 39%를 기록했다. 범용성을 줄이고 target task에 맞춘 data를 쓰면 훨씬 적은 parameter로 높은 효율을 얻을 수 있었다.
Fine-tuning 교훈: UnifiedQA와 GPT-3의 차이는 크기만으로 model을 평가할 수 없음을 보여준다. 배포 목적이 명확하면 범용 초대형 모델보다 task 특화 학습이 비용 대비 효과적일 수 있다.
평가 변화: 기존 benchmark는 사람에게 쉽고 AI에게 어려운 문제였다. MMLU는 사람에게도 어려운 시험 문제를 사용해 인간과 AI의 지식·추론 능력을 같은 척도에서 비교하기 시작했다.
한계: 분야 전문가 human baseline이 제시되지 않아 43.9%를 인간 수준으로 단정할 수 없다. 분야별 문항 성격과 학습 data 포함 가능성도 결과 해석에서 분리해야 한다.