Python asyncio를 활용한 효율적인 광고 데이터 수집

매드업 Data Platform 팀이 광고 매체와 트래커 API 에서 성과 지표를 긁어오는 수집 시스템에 Python asyncio 를 적용한 기록이다. 동기 방식으로 HTTP API 를 1,000번 호출하면 1,005초가 걸리던 것이 asyncio 로는 1.55초로 줄었고, 멀티스레딩보다 CPU 와 메모리를 덜 쓴다는 것을 실측으로 보인다.

핵심 포인트

I/O 는 CPU 나 메모리보다 훨씬 느려서, 동기 방식에서는 응답을 기다리는 동안 CPU 가 대기 상태로 놀게 된다.
실측 비교가 명확하다. requests 로 1,000번 순차 호출은 1,005.58초, aiohttp 와 asyncio.gather 는 1.55초, ThreadPoolExecutor 1,000 워커는 1.77초였다.
asyncio 는 OS 가 아니라 프로그램 영역의 기능이다. 단일 스레드에서 이벤트 루프가 코루틴을 번갈아 실행하므로 계산상의 이점은 없고 I/O 대기 구간만 겹쳐 쓴다.
멀티스레딩 대비 장점은 두 가지다. 논리적 동시 실행이라 대부분의 경합 조건을 피할 수 있고, 스택 메모리와 context switching 비용이 없어 자원을 덜 쓴다.
실제 적용처는 수집 담당 컬렉터와 API 호출 제한을 지키는 스로틀러 두 서비스다.

상세 정리

asyncio 는 Python 3.4 에 도입됐고 3.5 의 async 와 await 키워드로 지금 형태가 됐다. 그 전에는 제너레이터와 데커레이터로 쓰던 것이라 현재 코루틴을 네이티브 코루틴이라 구분해 부르기도 한다.
비동기 I/O 를 배달 주문에 비유한다. 치킨을 시키고 도착할 때까지 기다렸다 피자를 시키는 사람은 없다는 것이다.
구성 요소는 넷이다. 이벤트 루프가 스케줄링을 맡고, async def 로 정의한 비동기 함수를 호출하면 코루틴이 되며, await 는 코루틴 완료를 기다리면서 이벤트 루프에는 다른 코루틴으로 넘어갈 시점을 알려준다.
Future 는 미래에 완료될 동작의 상태를 담는 클래스이고, Task 는 코루틴을 대상으로 하는 Future 의 하위 클래스다. 둘 다 결과를 받거나 작업을 취소할 수 있다.
비동기 예제는 aiohttp 로 캠페인 조회 코루틴 1,000개를 만들고 asyncio.gather 로 모아 기다린 뒤 asyncio.run 으로 이벤트 루프를 돌리는 구조다.
스레드는 OS 기능이라 물리적 병렬 실행이 가능하지만, Python 은 GIL 때문에 한 번에 하나의 바이트코드만 실행돼 병렬성에 제한이 있다.
자원 측정도 붙였다. time 으로 재보면 asyncio 쪽 CPU 사용이 42퍼센트, 멀티스레딩이 72퍼센트였고 memory_profiler 로 본 메모리도 asyncio 가 적었다.
1,000개 스레드는 코어 수보다 많아 I/O 로 블록된 상태에서도 context switching 이 계속 일어나고, OS 가 이를 관리하는 데 자원을 쓴다.
asyncio 는 단일 스레드라 그 전환이 없고 select, poll, epoll 같은 시스템 콜로 재개 필요 여부를 확인한다.
컬렉터는 HTTP API 호출 결과를 파일로 저장하고 S3 에 올리는 일을 한다. 각 단계를 aiohttp, aiofiles, aiobotocore 로 비동기 처리해 필요한 컨테이너 개수를 줄였다.
스로틀러가 필요한 이유는 매체 API 마다 5초당 1회, 1시간 60회 같은 호출 제한이 걸려 있기 때문이다.
스로틀러 구조는 request queue 에서 메시지를 꺼내 API 별 deque 에 넣고, deque 마다 붙은 스로틀링 루프가 제한에 맞춰 속도를 조절하며 reserved queue 로 보내는 방식이다. 컬렉터는 그 큐에서 꺼내 실제 호출을 한다.
필요한 스로틀링 루프는 매체 수 곱하기 API 수 곱하기 광고 계정 수라 수천 개가 될 수 있다. 스레드로는 자원 부담이 커서 루프를 코루틴으로 만들어 이벤트 루프에 올렸다.