GPT-3, 인류 역사상 가장 뛰어난 언어 AI

GPT-3가 자연어 질의응답, 검색, 정보 추출, 코드 생성, 대화처럼 서로 다른 과제를 하나의 모델로 수행한 배경을 설명한다. 핵심은 새로운 학습 알고리즘보다 인터넷 문서와 책을 대상으로 다음 단어 예측을 반복하고 모델을 1,750억 파라미터까지 확대한 것이다. 과제별 파인튜닝 없이 문맥과 예시만으로 행동을 바꾸는 범용성이 당시 언어 모델의 방향을 어떻게 바꿨는지 짚는다.

핵심 포인트

GPT-3는 상식 질의응답, 텍스트 표 변환, 이력서 작성, 셸 스크립트와 웹 코드 생성 등 서로 다른 언어 작업을 하나의 모델로 처리했다.
학습 목표는 주어진 문맥 다음에 올 토큰을 맞히는 자동완성이며, 책·웹·위키피디아의 대규모 텍스트를 1,750억 파라미터에 압축했다.
질문이나 작업 설명, 소수의 예시를 문맥에 배치하면 별도 파인튜닝 없이 생성 행동을 바꾸는 in-context learning이 가능했다.
GPT-2와 기본 구조가 크게 다르지 않은데도 모델과 데이터 규모를 키우는 것만으로 성능과 과제 범위가 크게 확장됐다.
범용성은 모든 과제에서 최고라는 뜻이 아니라 과제별 수만~수십만 개의 레이블 데이터를 따로 만들지 않아도 된다는 의미다.

상세 정리

비교 출발점: 사전에 작성된 시나리오를 읽은 로봇 대담과 달리 GPT-3는 주어진 문맥에 이어질 답을 실제로 생성했다. 글은 이 차이로 자연어 생성 기술의 변화를 설명한다.
활용 사례: 일반 상식과 게임 지식 질의, 코로나19 상황을 설명받은 뒤 이어가는 대화, 가상의 과일 설명을 표로 구조화하는 작업을 예로 든다. 학습 데이터에 없는 가상 정보도 입력 문맥에서 추출했다.
코드 생성: 자연어 명령을 셸 스크립트로 바꾸거나 간단한 홈페이지와 React 앱 코드를 생성했다. 글쓰기뿐 아니라 형식이 엄격한 프로그래밍 언어에도 문맥 기반 자동완성을 적용할 수 있음을 보였다.
학습 방식: 문장 앞부분을 입력하고 다음 단어를 맞히며 오답 확률을 줄이는 방향으로 파라미터를 갱신한다. 별도의 지식 그래프나 과제별 규칙을 넣은 것이 아니라 언어 모델링 하나를 대규모로 수행했다.
데이터와 규모: 인터넷 문서, 책, 위키피디아 등 방대한 텍스트를 사용했고 파라미터 수는 1,750억 개다. 모델은 이 과정에서 다양한 문맥 뒤에 어떤 표현이 이어지는지 학습한다.
자동완성의 확장: 현대자동차 최초 자체 생산 차량 질문 뒤에 답을 이어 쓰거나 가상의 인터뷰 문맥에 맞는 발언을 생성한다. 문맥 설계가 모델의 과제 정의 역할을 한다.
예시의 효과: 지시만 주는 것보다 원하는 입력과 출력의 예시를 함께 제공하면 성능이 높아진다. 모델 가중치를 바꾸지 않고 프롬프트 안의 패턴으로 새로운 작업을 지정한다.
스케일의 의미: GPT-3는 GPT-2와 비교해 근본적인 구조 혁신보다 모델과 데이터가 커진 경우다. 그런데도 이전 모델과 비교하기 어려울 만큼 폭넓은 능력이 나타나 스케일 자체가 중요한 연구 축임을 보여줬다.
파인튜닝 없는 적용: 기존에는 기사 제목 변환 같은 새 과제를 위해 사람이 수만~수십만 개의 학습 쌍을 만들어야 했다. GPT-3는 일반 텍스트 학습 후 문맥만으로 같은 형태의 작업을 수행했다.
범용 모델: 질의응답, 생성, 요약, 변환을 각각 다른 모델로 만들지 않고 하나의 언어 모델이 처리한다. 데이터 제작 비용을 줄이고 새로운 아이디어를 빠르게 시험할 가능성을 열었다.
해석의 한계: 글은 GPT-3가 완벽하거나 AGI라고 주장하지 않는다. 못하는 작업과 오류가 남아 있지만, 언어 모델이 발전하는 속도와 규모 확장의 효과 때문에 범용 지능 연구를 쉽게 배제하기 어려워졌다고 평가한다.