NestJS에서 MQTT 5 Shared Subscription 기능 사용하기

한국그린데이터가 IoT 데이터를 수집하는 NestJS 서버를 여러 대로 늘릴 때 생기는 중복 저장 문제를, MQTT 5 의 Shared Subscription 으로 해결한 기록이다. 당시 NestJS 8.2.6 은 $share 접두사를 인식하지 못해 @nestjs/microservices 를 직접 고쳐 파일 의존성으로 물려 썼다. 이 버그는 8.4.0 에서 해결됐다.

핵심 포인트

문제는 Mosquitto 브로커를 구독하는 NestJS 서버가 여러 대가 되면 같은 메시지를 전부 받아 DB 에 중복 저장한다는 것이다. auto scaling 이나 배포 중 신구 버전이 잠시 함께 도는 상황에서 발생한다.
Redis 로 키를 필터링하는 방법을 먼저 떠올렸지만 비용이 크다고 보고 최후의 수단으로 미뤘다.
MQTT 5 의 Shared Subscription 은 토픽 앞에 $share 와 그룹명을 붙이면 그룹 안의 클라이언트 한 곳에만 메시지를 전달한다. Client Load Balancing 이라고도 부른다.
브로커인 Mosquitto 2.0.10 은 MQTT 5 를 지원해 문제가 없었지만, 실행하면 매칭되는 이벤트 핸들러가 없다는 오류가 났다.
원인은 NestJS 이슈로 이미 등록돼 있었고 수정 PR 도 올라와 있었지만 당시 미머지 상태였다.

상세 정리

기존 동작은 IoT 기기가 Mosquitto 에 publish 하면 구독 중인 모든 NestJS 서버가 같은 데이터를 받는 구조였다.
중복 저장은 DB 의 unique index 로도 막을 수 있지만 근본 해결은 아니라고 본다.
대안을 찾을 때 데이터 중복 제거나 방지 관련 키워드로 검색하다 MQTT 5 문서에서 Shared Subscription 을 발견했다.
적용 자체는 간단하다. @EventPattern 의 토픽 문자열 앞에 $share 와 그룹명만 붙이면 된다.
우회는 node_modules 의 server-mqtt.js 를 직접 고치는 방식이다. handlerKey 가 $share 로 시작하면 앞 두 조각을 잘라내는 함수를 추가하고, 와일드카드 핸들러를 찾는 getHandlerByPattern 이 그 함수를 거치게 한다.
TypeScript 를 위해 server-mqtt.d.ts 에도 같은 시그니처를 추가한다.
수정한 microservices 폴더 전체를 tar.gz 로 압축해 custom_modules/nestjs 로 옮기고, package.json 의 해당 의존성을 file 경로로 바꿔 다시 설치하면 $share 가 정상 인식된다.

왜 읽나MQTT 로 IoT 데이터를 받는 서버를 여러 대로 늘리며 중복 처리를 고민하는 백엔드 개발자에게 Shared Subscription 이라는 해법과 라이브러리 미지원 시 우회법을 함께 보여주는 사례.

그린데이터 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청