[NHN FORWARD 2021] AI펭톡 TCP Gateway 서버 개발기 with Netty

NHN Cloud·nhn-forward-2021 ·2021년·

#non-blocking-io#java#netty#tcp#network-programming#gateway

AI 요약

AI 영어 말하기 서비스 AI펭톡의 TCP gateway를 Java Netty로 구현하는 과정을 패킷 코드와 함께 단계별로 설명한다. 사용자가 Engine에 직접 붙지 않고 gateway를 경유하게 해 인증·공통 처리를 확장할 구조를 만든다.

핵심 포인트

Type 1byte·length 2byte·문자열 payload의 단순 TLV 패킷을 echo하는 예제로 시작해, 전통적 java.net Socket의 연결마다 thread 생성·unsigned 부재로 인한 bit masking·부분 read 문제와 context switching 비용을 드러냄
Channel·EventLoop·Pipeline·Handler·Bootstrap으로 구성된 비동기 이벤트 기반 모델을 소개 — Channel은 하나의 EventLoop에 평생 연결되고 EventLoop 하나가 여러 Channel을 처리
NioEventLoopGroup으로 연결 수락과 I/O를 분리하고 IdleStateHandler로 미사용 연결을 관리하며, ByteBuf의 독립 read/write index·pooled direct memory와 partial packet에서 reader index를 복원하는 custom decoder를 구현
gateway inbound handler가 Channel이 열릴 때 Engine용 client를 만들고, GatewayClient가 전달받은 ChannelHandlerContext에 fireChannelRead로 Engine 응답을 원래 pipeline으로 되돌려 사용자에게 relay

왜 읽나Netty의 Channel·EventLoop·Pipeline 구조와 custom codec, gateway relay를 실제 TCP 서버 예제로 익히려는 Java 백엔드 개발자에게.

챕터별 상세

010:11 – 2:28

AI펭톡과 TCP gateway 구현 목표

AI펭톡은 초등학생이 음성 인식과 자연어 처리 기반 대화를 game 형태로 연습하는 영어 학습 서비스다. 발표는 user가 Engine에 직접 연결하지 않고 gateway를 경유하게 해 이후 인증과 공통 처리를 확장하는 TCP 구조를 만든다. Type 1byte·length 2byte·문자열 payload로 이뤄진 단순 TLV packet을 echo하는 예제로 Netty 적용 과정을 따라간다.

java.net Socket으로 연결마다 thread를 만들고 stream에서 header와 payload를 직접 읽어 echo response를 조립한다. Java에 unsigned type이 없어 bit masking과 shift가 필요하고, byte order와 부분 read까지 직접 고려해야 한다. 접속자가 늘면 thread 수도 함께 증가해 장애 위험과 context switching 비용이 커지는 구조라서 비동기 event 기반 Netty를 도입한다.

Channel은 비동기 bind·connect·read·write를 표현하고 하나의 EventLoop에 평생 연결되며, EventLoop 한 개는 여러 Channel을 처리한다. Inbound와 outbound handler는 발생한 event와 business logic을 담당하고 Pipeline은 정해진 순서로 handler chain을 실행한다. Initializer가 handler를 묶어 Channel 생성 때 등록하며 ServerBootstrap이 parent·child EventLoopGroup과 socket option을 설정한다.

NioEventLoopGroup으로 연결 수락과 I/O 처리를 분리하고 Engine server를 port에 bind한 뒤 idle 감지·packet decoder·business handler·encoder를 Pipeline에 등록한다. IdleStateHandler는 장시간 미사용 연결을 닫거나 heartbeat를 보낼 수 있게 한다. ByteBuf의 독립 read/write index, 가변 용량과 pooled direct memory를 활용하고, partial packet에서는 reader index를 복원하는 custom decoder를 구현한다.

Gateway의 inbound handler는 Channel이 열릴 때 Engine용 client를 만들고 user packet을 전달하며, 비활성화 때 두 연결을 함께 종료한다. GatewayClient는 전달받은 ChannelHandlerContext에 fireChannelRead를 호출해 Engine response를 원래 gateway pipeline으로 되돌리고 다시 user에게 보낸다. 이후 client connection pool과 사용자 인증을 추가할 수 있는 확장 지점도 제시한다.