글 목록

Off the Wall은 Claude Code와 Codex용 플러그인이다. 에이전트에게 했던 지적을 저장해 뒀다가 비슷한 일을 시킬 때 내가 했던 말 그대로 다시 보여 준다. 이 글은 잘된 것보다 안 된 걸 쓴다. 배운 게 거기에 더 많았다. 일단 되는 것부터 모델은 내가 커밋 메시지나 날짜를 쓰는 습관을 알 수 없다. 그런 습관 11개를 내가 만들어서 작업으로 바꾸고, 칸당 3번씩 33번 돌렸다. 화면 없이 자동으로 실행했다. Claude Sonnet은 플러그인이 없으면 33번 중 2번, 있으면 20번 습관을 따랐다. haiku는 첫 시험에서 1번에서 17번, 다시 재니 2번에서 25번이었다. 전부 내가 만든 습관이고 실제 사용자 기록이 아니다. 결과를 본 뒤에 채점기 오류를 고쳤기 때문에 재측정은 독립된 재현도 아니다. Opus와 Codex 모델은 못 재 봤다. 시험 설계는 쉬운 설명 글에 있다. 고치고 싶었던 문제 이 플러그인은 관련 없는 요청에도 인용을 붙인다. 저장된 지적…

모델은 내 습관을 모른다. 커밋 메시지를 쓰는 방식, 날짜를 쓰는 방식 같은 것 말이다. 이런 일을 Claude한테 33번 시켜 봤다. Off the Wall이 없으면 Claude(Sonnet)가 습관을 2번 따랐고, 있으면 20번 따랐다. 전에 내가 한 지적을 그대로 다시 보여 주기 때문이다. 시험용으로 내가 만든 습관이고 실제 사용자 기록으로 잰 건 아니다. haiku 모델에서는 1번에서 17번, 다시 재니 2번에서 25번이었다. 같은 말을 세션마다 또 하고 있었다 이렇게 동작한다 지적은 어떻게 저장되나 쓰다 보니 붙은 명령어 설치 시험은 이렇게 했다 못 하는 것, 알아 둘 것 같은 말을 세션마다 또 하고 있었다 Claude Code나 Codex로 일하다 보면 같은 말을 계속 하게 된다. “묻지 말고 하나 골라.” “테스트 진짜 돌렸어?” “내가 요청한 것만 해.” 세션이 바뀌면 에이전트는 이 말들을 기억하지 못한다. 처음에는 지적을 규칙 한 줄로 줄여서 CLAUDE.md에 넣…

영어 원문의 한국어 번역입니다. 내용이 다르면 영어 원문이 기준입니다. 범위 메모, 2026-10-23: 아래 수치는 별도의 로컬 환경에서 낸 과거 API 가격 기준 추정치이고, 청구서나 공개 Off the Wall로 측정한 절감이 아닙니다. 이 글은 OTW의 교정 회수를 시험하지 않습니다. 저는 하루 종일 코딩 에이전트를 돌려서, 제 API 사용량을 일주일치 합산해 봤습니다. Claude 호출 19,733건, API 가격 기준 약 $1,064였습니다. 가장 큰 항목은 출력도 캐시 읽기도 아니고 캐시 쓰기였습니다. $469로 청구액의 44%였습니다. 캐시 쓰기는 어떤 접두부를 처음 볼 때 내는 비용입니다. 긴 대화에서는 거의 전부가 읽기여야 합니다. 쓰기가 이렇게 크다는 것은 에이전트가 이미 값을 치른 대화에 계속 돈을 냈다는 뜻입니다. 누수 1: “캐시를 보존한다”는 메모 에이전트는 프롬프트마다 짧은 메모(라우팅 힌트, 기억)를 덧붙이는 컨텍스트 플러그인과 함께 돌아갑니다. 이 …

쉽게 말하면. 이 글은 실제 요청 39개를 글로만 다시 돌려 본 오래된 시험을 다룹니다. 개발자 본인의 과거 지적을 보여 주는 방식과 짧은 규칙을 비교한 것이고, 실제 사용에서 플러그인이 잘 동작한다는 증거는 아닙니다. 이후에 한 시험이 더 읽기 쉽습니다. 시험용으로 만든 개인 습관에서 Claude(Sonnet)는 Off the Wall이 없으면 33번 중 2번, 있으면 20번 따랐습니다. 쉬운 설명 글을 보세요. 영어 원문의 한국어 번역입니다. 내용이 다르면 영어 원문이 기준입니다. 2026-10-28 업데이트: 이후에 한 개인 선호 측정(회수 없음 1/33, 기존 기본 9/33, 넓게 찾기 17/33, 합성 작업)은 Off the Wall 글에 있습니다. 넓게 찾기는 0.3.0부터 기본값입니다. 이 글의 재생 실험은 바뀌지 않았습니다. 2026-10-23 업데이트: 이 글은 과거의 재생 실험과 공개 플러그인이 실제로 보여 주는 것을 구분합니다. 규칙에 대한 일반적인 우위를 입증…

쉽게 말하면, Off the Wall은 내가 전에 한 지적을 줄이지 않고 그대로, 에이전트가 답하기 전에 다시 보여 주는 플러그인이다. 모델이 모르는 내 습관을 33번 시켰을 때 없으면 2번, 있으면 20번 따랐다(Claude Sonnet, 시험용으로 만든 습관). 뭘 하고 뭘 못 하는지는 쉬운 설명 글에 따로 정리했다. 이 글은 그 전에 쓴 자세한 측정 기록이다. 업데이트 이력. 10월 29일에 큰 모델(Sonnet)에서도 같은 효과를 확인했고, 저장된 지적을 지우는 이 0.3.1에 들어갔다. 10월 28일에는 모델이 모르는 개인 선호에서 효과를 처음으로 쟀다(아래 7장). 10월 27일에는 입력 경계 수정이 0.2.0에 공개됐고 Codex 실제 호스트에서 한 번 돌려 본 기록을 추가했다. 10월 23일에는 과거 실험이 어디까지 말해 주는지 정리했다. 최신 숫자와 한계는 쉬운 설명 글에 있다. 코딩 에이전트를 고칠 때 중요한 건 “다음부터 잘해”라는 규칙만이 아니었다. 어떤 요청…