강화학습 기초 시리즈의 세 번째 강의로, 밸류 펑션을 테이블에 기억하는 대신 근사(approximation)하는 방법을 다룬다. 바둑처럼 경우의 수가 방대해 테이블 룩업이 불가능한 상황을 출발점으로, 인공신경망을 밸류 펑션 예측기로 도입하는 원리를 단계적으로 설명한다.
핵심 포인트- 모든 스테이트-액션의 누적 보상을 테이블에 저장하는 방식은 상태 공간이 큰 게임에서 현실적으로 불가능하므로, 필요할 때마다 밸류를 예측하는 함수 근사기가 필요하다.
- 인공신경망은 훌륭한 **펑션 어프록시메이터**로, 경험한 데이터로 학습하면 아직 경험하지 않은 새로운 스테이트-액션의 밸류도 예측할 수 있다.
- 학습은 예측값과 실제값 차이를 제곱한 **오차**를 정의하고, 오차의 기댓값을 파라미터로 미분한 기울기의 반대 방향으로 세타를 조정하는 **그래디언트 디센트**로 진행된다.
- 정답으로 실제 에피소드의 누적 보상(리턴) GT를 쓰면 **몬테카를로**, 한 스텝 더 진행한 예측 밸류를 쓰면 **TD** 방식이며, 이를 통해 딥살사와 DQN을 구현할 수 있다.
왜 읽나테이블 기반 강화학습에서 딥살사·DQN으로 넘어가는 다리인 밸류 함수 근사의 직관과 수식을 짧고 명료하게 잡을 수 있다.