지난주 코딩 에이전트 비용이 $1,064였습니다. 그중 44%는 캐시가 스스로를 다시 쓴 비용이었습니다

영어 원문의 한국어 번역입니다. 내용이 다르면 영어 원문이 기준입니다.

범위 메모, 2026-10-23: 아래 수치는 별도의 로컬 환경에서 낸 과거 API 가격 기준 추정치이고, 청구서나 공개 Off the Wall로 측정한 절감이 아닙니다. 이 글은 OTW의 교정 회수를 시험하지 않습니다.

저는 하루 종일 코딩 에이전트를 돌려서, 제 API 사용량을 일주일치 합산해 봤습니다. Claude 호출 19,733건, API 가격 기준 약 $1,064였습니다. 가장 큰 항목은 출력도 캐시 읽기도 아니고 캐시 쓰기였습니다. $469로 청구액의 44%였습니다.

캐시 쓰기는 어떤 접두부를 처음 볼 때 내는 비용입니다. 긴 대화에서는 거의 전부가 읽기여야 합니다. 쓰기가 이렇게 크다는 것은 에이전트가 이미 값을 치른 대화에 계속 돈을 냈다는 뜻입니다.

누수 1: “캐시를 보존한다”는 메모

에이전트는 프롬프트마다 짧은 메모(라우팅 힌트, 기억)를 덧붙이는 컨텍스트 플러그인과 함께 돌아갑니다. 이 플러그인은 메모를 요청의 마지막 메시지 뒤에 붙였고, 코드 주석에는 이 위치가 프롬프트 캐시를 보존한다고 적혀 있었습니다.

자동 캐싱에서는 캐시 브레이크포인트가 요청의 끝이라서, 항목이 정확히 메모 위치에 써졌습니다. 다음 프롬프트에는 그 메모가 붙지 않으므로, 보내는 내용 어느 것도 캐시된 것과 맞지 않고 대화 전체가 다시 써집니다.

한 세션에서 한 단어짜리 프롬프트 세 개를 보냈을 때입니다.

같은 세 프롬프트에서 메모를 대화 기록 안에 한 번만 저장하게 바꾸면 이렇게 됩니다.

일주일 실사용 기록에서 이것이 전체를 다시 쓰는 단일 원인으로는 가장 컸고, 355건이었습니다.

누수 2: 시스템 프롬프트에 브레이크포인트가 없음

프로젝트에서 새 세션을 열 때마다 같은 도구와 시스템 프롬프트(약 3만 토큰)를 보냅니다. 요청 끝에 브레이크포인트가 하나뿐이면 새 세션은 읽을 것이 없습니다. 메시지가 이전의 어떤 세션과도 다르므로, 공통 부분에는 따로 캐시 항목이 없습니다. 1분 간격으로 새로 연 두 세션이 각각 약 35k를 쓰고 0을 읽었습니다.

마지막 시스템 블록에 브레이크포인트를 하나 더 두었습니다(API는 4개까지 허용합니다).

재시작, 새 세션, 서브에이전트 모두 이 접두부에서 시작하므로 절감은 매번 반복됩니다.

여기서 얻은 것

두 누수 모두 캐시를 보호하려고 그 자리에 놓인 것이었고, 주석도 합리적이었습니다. 어느 쪽도 측정된 적은 없었습니다. 사용량 추정치가 측정이었습니다.

저는 과거 교정을 회수하는 Off the Wall도 만듭니다. 이것은 이 캐시 계층 조사와는 별개의 프로젝트입니다.