늙어버린 당신의 AI

새 모델로 갈아탔는데 예전 버릇이 남은 듯한 순간의 원인을 짚는다. 모델은 바뀌어도 그 위에 쌓은 시스템 프롬프트·설정값·지침 문서·세션 메모리는 작성 시점 세대에 맞춰진 채 남기 때문이다. Claude 5 출시를 트리거로 팀 설정을 감사해 두 줄을 지운 기록이다.

핵심 포인트

AI 자산의 노화는 침묵한다 — 코드는 전제가 깨지면 컴파일 에러를 내지만 프롬프트와 설정은 낡아도 조용히 적용된다
명시 의존(모델명·가격 하드코딩)은 grep 으로 잡히지만, 위험한 쪽은 특정 세대 성향에 대응해 넣은 암묵 의존이다
settings.json 의 두 줄이 각각 신모델엔 무효이면서 구모델엔 역효과, 그리고 기본값을 한 단계 낮추는 부작용을 내고 있었다
벤더가 이미 세대마다 프롬프트 재검토를 문서로 지시하는데, 그걸 자기 자산에 적용하는 절차를 갖춘 팀은 드물다
같은 이름의 모델도 시간에 따라 변한다 — 소수 판별 정확도가 3개월 만에 84%에서 51%로 떨어진 실측이 있다

상세 정리

감사 트리거: 2026년 7월 Claude 5 패밀리 GA 를 계기로 중앙 저장소 전체를 훑었고, 벤더 공식 문서 대조일을 2026-07-29 로 못 박았다
문제의 성질: 두 값 모두 도입 후 여러 달 동안 단 한 번도 오류를 내지 않았고, 그래서 발견되지 않았다
첫 번째 줄: CLAUDE_CODE_DISABLE_ADAPTIVE_THINKING=1 은 thinking 예산을 고정해 동작을 예측 가능하게 하려던 값이었다
첫 번째 줄 재감사: 신모델은 이 값을 무시하고, 구모델에서는 모든 단계에 고정량 thinking 을 강제해 비용과 속도를 되레 나쁘게 만들고 있었다
두 번째 줄: effortLevel high 는 팀 전체 effort 를 통일하려던 값이었다
두 번째 줄 재감사: effort 지원 모델의 공식 기본값이 대부분 high 라 실효가 없고, 기본값이 더 높은 사용자에게는 한 단계 낮추는 부작용만 남았다
손해의 형태: 하나는 비용과 속도로, 다른 하나는 일부 사용자의 출력 품질로 조용히 분산 청구되고 있었다
벤더 근거 1: Anthropic 마이그레이션 가이드는 스스로 작업을 검증하는 세대에서는 이전 모델용 자기검증 지시를 제거하라고 명시한다 — 남기면 과잉 검증을 부른다
벤더 근거 2: 구세대 대표 기법이던 단계별로 생각하라는 reasoning 모델 가이드에서 불필요하며 때로 성능을 저해한다로 뒤집혔다
벤더 근거 3: 최신 가이드도 간결성 지시가 여전히 유용한지 점검하라고 경고한다 — 응답을 과도하게 짧게 만들 수 있다
드리프트 근거: Stanford·UC Berkeley 연구진이 같은 이름의 모델이 3개월 사이 크게 변한 것을 실측하고 지속적 모니터링이 필요하다고 결론지었다
도구화: 프롬프트와 모델 조합을 테스트로 묶어 교체 전에 회귀를 잡는 promptfoo 같은 도구가 CI 에 통합되는 수준으로 자리잡았다
설정 밖의 마찰: 매 세션 자동 주입되는 행동 규약 문서에서도 생각 과정을 숨기라 같은 구세대 대응 문구가 발견됐다

왜 읽나팀 공용 AI 설정이나 프롬프트 자산을 운영하면서 모델만 갈아끼워 온 조직에게, 무엇을 언제 재검증해야 하는지 실제 감사 사례로 알려준다.

여기어때 (GC컴퍼니) 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

늙어버린 당신의 AI

이 글과 비슷한

에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

실리콘투의 사내 지식 MCP 게이트웨이 구축기