纠正原文保留了什么,重放实验又没能证明什么

通俗地说,这篇讲的是一个较早的测试:我把 39 个真实请求只以文字重放,比较了显示我自己过去的纠正和简短规则两种做法。它并不能证明插件在真实使用中有效。之后的测试更容易看懂:用编造的个人习惯,Claude(Sonnet)在没有 Off the Wall 时 33 次中遵守了 2 次,有它时遵守了 20 次。见通俗说明文章。

2026-10-28 更新:之后对个人偏好的测量(没有回忆 1/33,原默认 9/33,宽检索 17/33,合成任务)在 Off the Wall 文章里。宽检索从 0.3.0 起是默认。下面的重放没有改动。

2026-10-23 更新:我把历史重放显示的内容和公开插件实际证明的内容分开写了。它不能说明引用原文总体上优于规则。

纠正里带着简短规则会丢掉的细节:缺的是哪个测试,哪些文件在任务范围之外,哪个决定我已经交给了智能体。这就是 Off the Wall 背后的设计问题。

打开合成回忆演示 建议在连接任何个人记录之前先看。界面是韩文。页面里的 JSON 显示合成提示、被选中的引用、源码版本和真实的钩子输出。

引用是一种机制,不是一个结果

这是编的例子。纠正是:运行结账集成测试并显示退出码,不要跑完 lint 就说成功。之后我发一个相关的请求,那条纠正会原样进入它的提示上下文。

演示不加修改地运行公开 OTW 0.1.1(提交 07fe3d3d4f4accc153eb0684f506e0d3c206fdcc)的命令行钩子。4 个合成请求、空库和已存库、两种宿主模式,共 16 次隔离的钩子运行。没有用到个人记录、纠正判定、模型回答,也没有真实的 Claude Code 或 Codex 会话。存入的纠正是我自己放进去的。

所以它验证的是上下文怎么组装,以及带有未来时间的测试数据会被排除。它没有验证模型是否遵循引用、真实任务是否成功,也没有验证我是否少重复了纠正。

早先的重放说了什么

我从一个人(我自己)的记录里挑了 39 个请求,限定为只靠文字就能评分的纠正。Opus 5.5 不用工具重新回答,Sonnet 把两两答案按两种顺序比较,只有两种顺序一致才算赢。

在过去引用之外再加一句”预测这个人会提出什么异议”的条件,对比什么都不加是 25 胜 11 平 3 负。和随机提炼的规则直接对比是 17 胜 14 平 8 负,报告的双侧检验 p 约为 0.11。这不是确定优势的证据。引用格式和预测句是一起测试的,所以这从来不是只针对逐字原文的测试。

保存下来的运行日志能印证总数和条件。我没有独立重跑原始的逐案输出。一个用户、挑选过的请求、模型评分、只写文字的任务,这些都限制了结论。这些数字,以及模型对”如果当时会怎样”的判断,都不是测出来的预防率。

我的假设是:保留纠正的细节,可能在之后相关的情形里有帮助。这仍然只是关于行为的假设,不是”规则没有效果”的发现。

演示还做错了什么

检查用的测试数据会把另一个任务的指令(“只改登录文件”)也拉进来。完全无关的请求也会收到最近的纠正。检索用的是对之前请求做的词与字符 bigram TF-IDF,再补上最近的条目,并不判断任务范围。

上下文块引用纠正时也没带原始请求的范围信息,所以”这次任务”这样的话可能失去所指。这是我展示出来的选择与上下文方面的局限,我并没有观察到模型因此真的出错。

把长期偏好和一次性任务限制分开、显示引用来源、处理无关的最近纠正,这些是我想做的改进,不是已经发布的功能。有一项边界修复已在 0.2.0 发布:来源标记和按工作目录限定的回忆,因为插件自动发送的消息原本可能进入纠正分析。它并没有被证明能过滤所有自动输入。

隐私与模型选择建议

结果和状态默认保存在本地 ~/.otw。判定以及个人记录报告会通过你的 Claude 或 Codex 命令行把摘录发给模型公司。没有单独的 API 密钥,不等于没有用量、费用、额度和提供方一侧的处理。

插件还会给编排智能体一些该用哪个模型的建议。这不是自动路由,也不是降低成本的保证,Codex 的模型对应关系我也没有测过。

先看机制

先看合成演示,不要先上传自己的记录或运行 seed 命令。我暂时不建议对个人记录运行 report --seed:输入边界修复已经公开,但还没有在真实使用中验证。

对我最有帮助的是具体的反馈:缺了需要的引用、出现了无关的引用、看到引用后智能体仍然犯了同样的错。请通过 issue 告诉我,不要附上私人对话记录、代码、公司名称或凭据。安装方法见当前 README。