GPT-3의 다섯 가지 한계

GPT-3가 당시 보여준 범용성에도 불구하고 해결하지 못한 다섯 가지 한계를 정리한다. 42개 언어 과제에서 전문 모델을 모두 넘지 못한 성능, 텍스트만 학습해 생긴 물리 상식의 공백, 1,750억 파라미터가 만드는 비용, 2,048토큰 문맥 한계, 다음 단어 예측이라는 학습 목표의 근본적 논쟁을 차례로 다룬다. 모델 규모가 곧 이해 능력을 뜻하는지 냉정하게 구분하는 글이다.

핵심 포인트

GPT-3는 하나의 모델로 다양한 과제를 풀지만 42개 평가 중 모든 영역에서 최고 성능을 내지는 않았고 평균 점수도 약 60점이었다.
텍스트에 잘 기록되지 않는 물리 상식과 직접 경험이 필요한 지식에는 상대적으로 약해 멀티모달 학습이나 실제 환경 경험이 대안으로 거론된다.
1,750억 파라미터는 GPT-2보다 100배 이상 크며, 최종 모델 학습비만 약 50억 원으로 추정될 만큼 학습과 서빙 부담이 크다.
Transformer에는 지속적인 기억 장치가 없고 GPT-3는 최근 2,048토큰만 입력으로 받아 장기 문맥을 유지하기 어렵다.
다음 단어 예측만으로 나타난 능력을 진짜 이해라고 볼지 통계적 모방이라고 볼지는 성능 수치만으로 결론 내리기 어렵다.

상세 정리

평가 범위: GPT-3 논문은 42개 언어 문제를 시험했다. 모델 크기가 커질수록 평균 성능은 상승했지만 특정 문제에 맞춘 기존 모델을 뛰어넘은 경우는 일부였고 사람 수준에도 미치지 못했다.
범용성과 최고 성능: 장점은 과제별 별도 모델 없이 여러 문제를 폭넓게 푼다는 데 있다. 모든 과제를 가장 잘 푼다는 의미와는 다르므로 데모 몇 개를 일반 지능의 증거로 확대하면 안 된다.
물리 상식: 냉장고에 넣은 치즈가 녹는다고 답하는 사례처럼 현실 세계의 당연한 규칙에서 오류를 낸다. 이런 사실은 문서에 굳이 쓰이지 않아 텍스트 코퍼스만으로 배울 기회가 적다.
학습 데이터의 경계: 모델이 물리 세계를 전혀 모르는 것은 아니지만 시각과 행동 경험이 있는 사람보다 취약하다. 이미지·비디오를 함께 학습하거나 로봇이 환경과 상호작용하는 방향을 가능한 보완책으로 제시한다.
규모 비교: GPT-3의 1,750억 파라미터는 15억 파라미터의 GPT-2보다 100배 이상 크고 당시 T5나 Turing NLG보다도 10배 이상 컸다. 높은 성능의 기반인 동시에 실험 접근성을 떨어뜨린다.
학습 비용: 약 50억 원이라는 추정치는 최종 학습 한 번만 계산한 값이며, 모델과 하이퍼파라미터를 찾는 시행착오 비용은 포함하지 않는다. 새로운 데이터로 재학습할 때도 같은 부담이 반복된다.
서빙 비용: 파라미터가 많으면 매 요청의 계산 시간과 인프라 비용도 증가한다. GPT-3보다 100분의 1 규모인 모델조차 당시 서버 사양과 비용으로 자유롭게 쓰기 어렵다는 경험을 근거로 든다.
기억 구조: GPT-3는 현재 입력 문맥에 따라 출력을 생성할 뿐 별도의 장기 기억을 축적하지 않는다. 기억할 내용을 입력에 다시 넣을 수 있지만 최대 2,048토큰이라는 창을 넘으면 최근 정보만 남는다.
장기 대화의 한계: 짧은 질의응답에는 문맥 창이 충분할 수 있지만 긴 서사나 장기간의 관계처럼 과거 정보를 계속 참조해야 하는 문제에는 구조적 제약이 된다.
학습 목표: GPT-3는 대규모 텍스트에서 다음 토큰의 확률을 높이는 방식으로 학습한다. 사람처럼 원리를 명시적으로 배우지 않아 그럴듯한 생성과 실제 이해를 구분하기 어렵다는 비판이 나온다.
남은 논쟁: 통계적 예측과 사고가 서로 배타적인지, 생각을 무엇으로 정의할지 합의가 없어 단순히 이해한다고도 이해하지 못한다고도 증명하기 어렵다. 글은 이 지점을 기술적 한계이자 철학적 연구 질문으로 남긴다.