AI ENGINEER NIGHT Q&A 총정리

채널톡 AI팀이 AI ENGINEER NIGHT 현장에서 다 답하지 못한 질문들을 정리한 Q&A다. RAG 청킹 전략, BM25와 벡터 검색의 조합, 형태소 분석기를 굳이 구축하지 않은 이유, 에이전트 오케스트레이션, 하네스의 수명, 비결정적 에이전트의 성능 검증까지 상담 AI를 운영하며 실제로 부딪힌 판단들이 담겼다.

핵심 포인트

청킹은 고정 길이로 기계적으로 자르지 않고 문서 구조를 살려 자른다. 표나 리스트가 중간에 끊기는 문제가 확실히 줄었다.
고객사가 2,000곳이 넘어 채널별 사용자 사전을 만들고 유지하는 방식은 스케일이 안 나온다고 판단해 형태소 사전을 구축하지 않았다.
대신 검색 한 번의 정확도보다 검색이 빗나갔을 때 전략을 바꿔 다시 시도하는 능력에 투자했다.
코딩 에이전트가 RAG 대신 파일시스템과 grep을 쓰는 흐름을 그대로 가져올 수 없는 이유로 상담 서비스의 레이턴시 제약을 든다.
성능을 완벽히 고정하는 것은 사실상 불가능하다고 보고 pass@1이 아니라 pass@k로 접근한다.

상세 정리

청킹 방식: 아티클은 제목과 본문의 위치, 내용이 바뀌는 지점 같은 구조를 파악한 상태로 자르고, 구조를 사전에 특정하기 어려운 PDF는 OCR 모듈로 전처리한다.
생성 단계 보완: 검색된 top-k가 통째로 컨텍스트에 들어가고 부족하면 에이전트가 인접 문서를 추가 탐색해, 표가 한 청크에 다 안 담겨도 어느 정도 메워진다.
다만 에이전트가 아무리 잘 탐색해도 PDF나 웹페이지 같은 비정형 문서는 검색의 천장이 있다고 인정한다. 그래서 표 안의 상품이나 가격 같은 엔티티를 미리 추출해 구조화하고 검색이 아니라 조회로 푸는 방향으로 고도화하려 한다.
BM25의 역할: 주문번호나 모델명 같은 리터럴 매칭을 보완하는 용도로 쓰고, 첫 검색이 부족하면 에이전트가 쿼리를 바꾸고 검색 범위를 조정해 재탐색한다. 토크나이저 튜닝을 닫아둔 것은 아니고 우선순위에서 밀렸다는 표현을 쓴다.
오케스트레이션: 지식센터의 전체 폴더 구조와 메타데이터를 컨텍스트로 주고, 어디를 볼지와 무엇을 검색할지를 tool-calling으로 매 턴 스스로 판단하게 한다. 더 탐색할지도 에이전트가 결정한다.
이는 코딩 에이전트가 파일시스템을 탐색하는 패러다임을 차용한 것으로, 한 번에 다 펼치지 않고 필요한 만큼씩 여는 progressive disclosure 패턴이라고 설명한다.
하네스의 수명에 대해: 프롬프트 엔지니어링에서 컨텍스트 엔지니어링, 하네스 엔지니어링으로 빠르게 진화하고 최근에는 루프 엔지니어링이라는 개념까지 나오는 흐름을 인정하면서도, 기술 흐름과 비즈니스 요구사항을 같이 봐야 한다고 답한다.
그래서 성급히 대체하기보다 기존 RAG에 계층적 구조를 도입해 성능을 극대화하는 방향을 택했다.
프레임워크 사용: PoC나 빠른 가설 검증 단계에서는 LangChain 같은 프레임워크를 적극적으로 쓰지만, 핵심 엔진인 ALF는 ReAct 방식을 기반으로 자체 구현해 운영한다.
모델도 처음에는 프론티어 사 API로 빠르게 서비스를 만드는 데 집중했는데, 자체 LLM의 비용 효율성이 개선되고 축적된 상담 데이터를 활용하면 더 독보적인 가치를 만들 수 있겠다는 판단으로 자체 LLM 연구를 병행하고 있다.
성능 검증: 예컨대 할루시네이션 이슈가 있으면 먼저 근본 원인을 해결하고, 반복 시도 중 최소 80% 이상 통과하는지 검증하는 식으로 접근한다.
지식 오염 방지: 유저 질문과 응답을 무가공으로 지식에 반영하면 장난성 질문이나 오답이 지식을 오염시킬 수 있어 여러 게이트를 둔다. 다른 상담과 비교해 유의미한지 판단해 노이즈를 제거하고, 지식 수정이나 추가 제안은 사람이 직접 검토하고 승인한다. precision을 최대한 높이는 방향을 의도적으로 택했다.
상담 데이터 분석: 상담 종료 즉시 해결·미해결 여부와 이관 이력 같은 기본 정보에 더해, AI로 상담 맥락 요약과 주제 분류, 상담 품질 점수까지 함께 저장한다. 이 데이터는 통계와 커스텀 리포트로 제공돼 고객사가 주요 이슈를 패턴화할 수 있게 설계했다.
만족도와 정확도의 충돌: 구매 후 7일이 지나 환불을 원하는 고객에게 규정대로 안내하면 회사 입장에서는 정확한 상담이지만 만족도는 낮게 나올 수 있다는 예를 든다. 어느 하나를 절대 기준으로 삼지 않고 상황에 따라 지표 우선순위를 유연하게 조정한다.