딥러닝 모델 Trainer 개발을 위한 Tutorial-1 (with Pytorch)

PyTorch 로 지도학습 학습기(Trainer)를 밑바닥부터 조립해 보는 튜토리얼 1편이다. 학습기가 성립하려면 무엇이 반드시 있어야 하는지를 6개 구성 요소로 정리하고, MNIST 와 2층 DNN 으로 최소 동작하는 Basic-Trainer 코드를 끝까지 만든다.

핵심 포인트

지도학습 학습기의 필수 요소는 DataSet, Model, Criterion, Optimizer, Train Iterator, Evaluation Logic 여섯 가지이고 하나라도 빠지면 학습이 성립하지 않는다.
복잡해 보이는 Trainer 도 결국 이 골격이라, 코드부터 보기보다 구조를 먼저 잡는 편이 해석에 빠르다는 게 글의 주장이다.
예제는 MNIST 28×28 흑백 이미지를 784 차원으로 펴서 1024 히든을 거쳐 10 클래스로 내보내는 `nn.Sequential` 2층 모델을 쓴다.
loss 는 `CrossEntropyLoss`, optimizer 는 learning rate 0.003 의 SGD, batch 64, epoch 10 으로 돌린다.
권장 환경은 Python 3.6+, PyTorch 1.2.0+, torchvision 0.4.0+ 이다.

상세 정리

지도학습 흐름 정의: 입력으로 모델이 정답을 추론하고, 실제 정답과 비교해 얻은 loss 를 역전파해 파라미터를 갱신한다는 한 줄을 기준으로 필요한 요소를 역산한다.
DataSet: `torchvision.datasets.MNIST` 로 train/eval 을 각각 만들고 `transform=transforms.ToTensor()` 를 준다. 첫 실행 시 아카이브에서 내려받아 지정 경로에 저장한다.
입출력 텐서 규약: (입력, 정답) 쌍의 텐서 모양은 모델의 입출력과 같아야 한다. MNIST 는 입력이 (batch, 28, 28), 정답은 10개 클래스 중 인덱스다.
DataLoader: dataset 을 batch 로 잘라 내보내며 `shuffle=True` 로 순서를 섞는다. for 루프에서 `input_batch.shape[0]` 을 찍어 batch 크기를 눈으로 확인하는 방법을 같이 보여준다.
Model: `nn.Linear(784, 1024)` 와 `nn.Linear(1024, 10)` 를 `nn.Sequential` 로 묶는다. 입출력 텐서 모양만 맞으면 VggNet·ResNet·DenseNet 으로 바꿔 끼울 수 있다고 짚는다.
Criterion: 다중 분류라 `CrossEntropyLoss` 를 쓰며, (batch, classes) 추론 텐서와 (batch) 정답 텐서를 비교해 loss 를 만든다. 역전파는 `loss.backward()` 로 건다.
Optimizer: `torch.optim.SGD(model.parameters(), lr=0.003)` 로 역전파 결과 gradient 를 받아 파라미터를 갱신하고, 실제 갱신은 `optimizer.step()` 이 수행한다.
Train Iterator: epoch 루프 안 step 루프에서 입력을 `reshape(-1, 28*28)` 로 편 뒤 순전파 → loss 계산 → `optimizer.zero_grad()` → `loss.backward()` → `optimizer.step()` 순으로 돈다.
`zero_grad()` 의 이유를 이전 step 의 gradient 영향을 받지 않기 위해서라고 명시하고, epoch/step/loss 를 포맷 문자열로 출력해 진행 상태를 본다.
Evaluation: epoch 마다 `model.eval()` 로 전환해 autograd 를 끄고, `torch.max(outputs.data, 1)` 로 최대값 클래스 인덱스를 뽑아 정답과 일치하는 수를 세어 정확도를 퍼센트로 출력한 뒤 다시 `model.train()` 으로 돌린다.
마무리: `torch.save(model.state_dict(), 'mnist_dnn_model.pth')` 로 체크포인트를 남기고, 다음 편에서 학습·평가 편의성을 올린 학습기로 확장한다고 예고한다.