Name: LLM은 있지만 컨텍스트가 짧아 - Long Context 실전 적용기
Uploaded: 2025-09-24T14:12:52Z
Duration: 36 min 52 s
Description: 대화·코드·계약서뿐 아니라 에이전트의 reasoning과 tool call 기록까지 입력이 길어지는 흐름 속에서 Kanana의 컨텍스트를 128K로 확장한 과정을 다룬다. 평가 방법, 위치 인코딩, 희소한 장문 학습 데이터, 분산 최적화라는 네 가지 문제를 함께 풀어야 했던 이유와 각각의 해법을 따라간다.

AI 요약

대화·코드·계약서뿐 아니라 에이전트의 reasoning과 tool call 기록까지 입력이 길어지는 흐름 속에서 Kanana의 컨텍스트를 128K로 확장한 과정을 다룬다. 평가 방법, 위치 인코딩, 희소한 장문 학습 데이터, 분산 최적화라는 네 가지 문제를 함께 풀어야 했던 이유와 각각의 해법을 따라간다.

핵심 포인트

Needle-in-a-Haystack로 긴 문서 여러 위치의 정보 검색을, RULER로 key-value 검색·변수 추적·빈도 계산·다중 문서 질의까지 일곱 과제로 실질적 문맥 이해를 측정
token identity 외에 위치 정보를 배우는 RoPE의 원리 위에서, 학습 없이 확장하는 YaRN(주파수별 scale+attention 보정)·LongRoPE(evolutionary search)·dimension-wise 방식을 비교 — 128K에서 기반 모델보다 개선되지만 학습의 보완이 필요
공개 말뭉치 대부분이 2K 이하라 장문이 희소한 문제를, 단문을 embedding DB에 넣어 질문·근거 요약·정답을 만드는 장문 QA와 chunk별 요약을 전체 요약으로 합치는 방식으로 합성 — 좁은 구간에 집중하는 QA와 전체 맥락을 보는 요약을 함께 학습해 서로 다른 long-context 능력을 보완
급증하는 attention 메모리를 Ring Attention으로 여러 GPU에 분산하고 서로 다른 길이 문서를 packing하되 document masking으로 샘플 간 attention을 차단 — Kanana 8B·2.1B가 32K·128K Needle의 위치별 안정성과 RULER·LongBench에서 개선

왜 읽나기존 모델의 컨텍스트를 실전 수준으로 늘리려는 엔지니어에게 평가·위치 인코딩·데이터 합성·분산 학습을 한 번에 엮는 long-context 확장의 종합 레퍼런스.

챕터별 상세

010:10 – 4:28

긴 문맥이 필요한 이유와 평가 방법

대화·코드·계약서·영상뿐 아니라 MCP 에이전트의 reasoning과 tool call 기록도 작업이 깊어질수록 길어진다. Needle-in-a-Haystack는 긴 문서의 여러 위치에서 특정 정보를 찾는지 보고, RULER는 key-value 검색·변수 추적·빈도 계산·다중 문서 질의까지 일곱 과제로 확장해 실질적인 문맥 이해를 측정한다.

학습 길이 밖의 위치를 다루기 위해 RoPE의 주파수별 위치 값을 interpolation하는 원리와 근·원거리 구분의 trade-off를 설명한다. YaRN은 주파수 영역별 scale과 attention 보정을 적용하고, LongRoPE는 evolutionary search로 scale을 찾으며, dimension-wise 방식은 효과적인 길이와 차원을 골라 사용한다. 128K 평가에서 비학습법은 기반 모델보다 개선되지만 학습의 보완이 필요했다.

같은 단어도 문장 위치와 주변 관계에 따라 의미가 달라지므로 모델은 token identity 외에 위치 정보를 함께 배운다. Absolute embedding에서 상대 거리를 회전으로 표현하는 RoPE로 이어지는 개념을 설명하고, base 값이 근거리 정밀도와 원거리 범위를 조절하는 방식을 보여준다. 실제 공개 말뭉치는 대부분 2K 이하라 128K 학습용 장문이 희소하고 비용·라이선스 문제도 크다.

정제한 단문을 embedding DB에 넣고 문서에서 질문을 생성한 뒤 관련 문서를 검색해 근거 요약과 정답을 만드는 장문 QA 파이프라인을 구성했다. 책은 chunk별 요약을 다시 전체 요약으로 합쳐 원문·질문·요약을 한 샘플로 만든다. 좁은 구간에 집중하는 QA와 전체 맥락을 보는 요약을 함께 학습해 서로 다른 long-context 능력을 보완한다.

길이에 따라 급증하는 attention 메모리를 Ring Attention으로 여러 GPU에 분산하고, 서로 다른 길이의 문서를 packing해 padding 낭비를 줄이되 document masking으로 샘플 간 attention을 차단한다. 합성 데이터를 학습한 Kanana 8B와 2.1B는 32K·128K Needle 평가의 위치별 안정성이 높아졌고, RULER와 LongBench에서도 QA·요약·few-shot 성능이 개선됐다.