[NHN FORWARD 2021] 한돌 개발 이야기

NHN Cloud·nhn-forward-2021 ·2021년·

#reinforcement-learning#deep-learning#game-ai#mcts#self-play#alphago

AI 요약

NHN 바둑 AI 한돌의 1.0부터 4.0까지 개발 과정을 바둑 AI 기술의 발전사와 함께 풀어낸다. 거대한 선택지에서 좋은 위치를 정확히 평가하는 문제로 바둑 AI를 정의하고, 규칙 기반에서 딥러닝까지의 전환을 따라간다.

핵심 포인트

pattern과 주변 돌의 영향력으로 형세를 계산하던 초기 방식에서, 전체 game tree를 못 여는 바둑을 무작위 playout 평균으로 평가하는 MCTS로 넘어가고 MoGo·Pachi의 rollout policy로 제한된 시뮬레이션을 효율화
AlphaGo가 고수 기보로 학습한 policy network로 탐색 너비를, value network로 rollout 없이 위치 평가를 줄인 원리를 한돌이 MCTS와 결합해 딥러닝으로 전환
한돌 1.0은 GoKGS·한게임 기보로 학습하고 축 같은 시뮬레이션 feature를 입력, CNN을 Residual Network로 바꾸며 Python 학습·Cython 전처리·C++/CUDA 고속 playout을 분리
승률만 보는 value model의 헛수는 최종 점수 예측 score head로 줄이고, 사용자가 발견한 흉내바둑·취약 pattern은 학습 데이터로 환류하며, 접바둑·다양한 덤·축을 self-play로 학습해 4.0의 범용성 확보

왜 읽나바둑 AI를 소재로 MCTS·policy/value network·self-play 강화학습이 실제 서비스에서 어떻게 진화하고 실패 사례로 보완되는지 보고 싶은 ML 엔지니어에게.

챕터별 상세

010:11 – 5:19

한돌이 예측하는 수와 게임 결과

한돌은 가능한 착수의 가치를 평가해 최적의 수를 찾고 현재 승률·최종 점수·종국 상태까지 예측하는 바둑 AI다. 2016년 개발을 시작해 1.0으로 한게임 대국 서비스를 열고, 강화 학습을 적용한 2.0이 프로 기사들을 이기고 국제 AI 대회에 입상한 흐름을 소개한다. 결국 바둑 AI의 핵심을 거대한 선택지에서 좋은 위치를 정확히 평가하는 문제로 정의한다.

초기 AI가 pattern과 주변 돌의 영향력으로 형세를 계산한 방식부터, 전체 game tree를 탐색할 수 없는 바둑에서 무작위 playout 평균으로 수를 평가한 Monte Carlo 방법을 설명한다. MCTS는 가능성이 좋은 node를 더 많이 탐색하고, MoGo와 Pachi는 단수 살리기·주변 pattern·전체 pattern·random 순의 rollout policy를 개선해 제한된 simulation을 효율적으로 사용한다.

AlphaGo는 고수 기보에서 다음 수를 학습한 policy network로 탐색할 가지의 너비를 줄이고, 승리 확률을 예측하는 value network로 끝까지 rollout하지 않고 위치를 평가한다. 초기에는 value와 rollout 결과를 함께 썼지만 AlphaGo Zero 계열은 더 강해진 value model로 rollout을 제거한다. 한돌도 이 두 model과 MCTS의 결합을 구현하며 deep learning 기반으로 전환한다.

한돌 1.0은 GoKGS와 한게임 기보로 policy·value network를 학습하고 inference 때 MCTS와 결합한다. 돌 위치뿐 아니라 축처럼 simulation이 필요한 바둑 feature를 입력해 학습 효율과 성능을 높이고, CNN에서 Residual Network로 architecture를 바꾼다. Python model training과 Cython 전처리, C++·CUDA/OpenCL·multi-thread 기반 고속 playout을 분리하고 한돌 self-play 기보로 value 성능을 개선한다.

대국·착수 추천·승률 그래프·형세 판단을 서비스하고, 기력별 model을 ELO로 맞춰 초보부터 고수까지 대응한다. 사용자들이 발견한 흉내바둑과 취약 pattern은 학습 데이터로 되돌리고, 승률만 보는 value model의 헛수는 최종 점수를 예측하는 score head로 줄인다. 2.0 이후 self-play와 best model 교체를 반복하며, 접바둑·다양한 덤·축 같은 초기 상태와 rule을 학습에 넣어 4.0의 범용성을 높인다.