'우리 회사에도 LLM 서비스를 붙일 수 있을까'라는 현실적 질문에서 출발해, 기본 개념부터 RAG 구조와 미국 주식 질의응답 프로토타입까지 단계적으로 쌓아 올린다. 그 위에서 운영 환경이 마주치는 파싱·환각·검색 품질·비용 문제와, 평가를 중심에 둔 도입 전략을 짚는다.
핵심 포인트- 상용 비공개 모델 대 공개 모델의 품질·비용·통제 tradeoff, 파인튜닝과 프롬프트 엔지니어링의 차이, 그리고 '학습 시점 이후 정보와 사내 데이터는 모델이 모른다'는 한계에서 출발
- RAG는 관련 문서를 먼저 찾아 프롬프트에 넣어 지식을 보완하며, 키워드 검색과 달리 임베딩으로 의미가 가까운 문서를 찾음 — 벡터 DB나 벡터 기능을 가진 Postgres·Redis가 검색 계층 핵심
- Yahoo Finance·SEC 공시·분석 자료를 조각내 임베딩·저장하고 질문 벡터로 검색해 근거와 함께 GPT-4에 전달하는 주식 질의응답 프로토타입
- 운영에서는 PDF·이미지·표 파싱과 적절한 청킹, 예시·모델 선택·비교로 줄이는 환각, 질문 변환·다중 질의·재정렬로 높이는 검색 품질, 그리고 호출이 연결될수록 커지는 비용·지연을 관리
왜 읽나LLM 도입을 검토하는 백엔드 개발자에게, 단순 Python으로 좁은 문제부터 검증하고 평가·회귀 측정을 절반의 노력으로 놓는 실전 도입 로드맵.