AI Agent 기반 API 테스트 자동화 PoC

LG유플러스 QA 담당자가 "사용자가 자연어로 테스트 시나리오를 설명하면 AI가 자동으로 테스트 코드를 생성하고 실행할 수 있을까"라는 질문에서 시작한 PoC 기록이다. 사용자가 특정 API를 테스트해 달라고 요청하면 AI 에이전트가 MCP 서버로 제공되는 도구를 써서 OpenAPI 스펙을 분석하고 테스트 코드를 생성해 실행하는 흐름을 검증했다.

핵심 포인트

테스트 코드 작성 시간을 대폭 단축할 수 있었고, API가 바뀌면 테스트를 자동 재생성해 유지보수 부담을 줄일 수 있음을 확인했다.
AI 에이전트는 사용자의 목표를 이해하고 필요한 도구를 선택·실행하며 결과를 분석해 다음 행동을 결정한다는 점에서 단순 질의응답과 다르다.
MCP 서버는 LLM에게 손과 발을 제공하는 역할로, 다양한 도구를 정의해 실제 작업을 수행할 수 있게 한다.
애자일 환경에서 코드 변경과 배포 주기가 짧아지며 QA도 신속히 대응해야 하는데, 한정된 인력으로 여러 도메인의 테스트를 동시에 수행해야 한다.
테스트 범위가 넓어질수록 대규모 테스트 스크립트 작성 부담이 커진다.

상세 정리

AI 에이전트의 특성 셋: 사람의 개입 없이 스스로 계획하고 실행하는 자율성, 외부 API와 데이터베이스·파일 시스템 등과 연동하는 도구 사용, 최종 목표 달성을 위해 여러 단계를 수행하는 목표 지향성이다.
MCP 서버의 역할 셋: LLM이 사용할 수 있는 기능들을 정의하는 도구 제공, 일관된 방식으로 다양한 도구를 연동하는 표준화된 인터페이스, 권한 관리를 통한 안전한 실행 환경 제공이다.
OpenAPI: REST API의 구조와 사용 방법을 기계가 읽을 수 있는 형식으로 문서화한 표준 명세로, JSON이나 YAML로 엔드포인트와 요청·응답 형식, 파라미터, 인증 방법을 정의한다.
테스트 실행 프레임워크로는 Python에서 널리 쓰이는 도구를 사용해 단위 테스트부터 통합 테스트까지 작성하고 실행한다.
PoC의 흐름: 자연어 요청을 받아 OpenAPI 스펙을 분석하고, 그로부터 테스트 코드를 생성한 뒤 실행까지 이어지는지를 확인했다.
배경 문제 인식: LLM의 발전이 단순 질의응답을 넘어 복잡한 문서 작성과 코드 생성으로 확장되고 있다는 흐름 위에서, 그 접근을 QA 분야에 적용해 본 사례로 위치를 잡는다.

왜 읽나API 테스트 스크립트 작성과 유지보수에 인력이 묶여 있는 QA 조직에게, MCP와 OpenAPI 스펙을 결합해 자연어 요청에서 실행까지 잇는 PoC 구성을 보여준다.

LG U+ 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청