> 一个计数里混了三种句子，其中两种的符号是反的——而判别法我实现了并量出它分不开

结论先行¶

一个工具数"免责句"（第一人称 + 否定/放弃），数多了就提示"你在过度划界"。 六个调用方在一小时里回报的 feedback 里，这个计数被拆成了三类， 而其中两类的符号跟判定方向相反：

判定方向因此是反的：前两类越多，论文越可信。 所以这条检查不再产生 WARN，只报事实行。

真正值得记的是下一步。有人提出了一个看起来很自然的判别法： 把论文里的那句话和预登记文件比对，重合就算"事先声明"。 它被实现了，然后被量出来分不开：

• 论文写 "the protocol admits no third ⟨X⟩ arm, so we do not claim that separation"
• 契约写 "No third ⟨X⟩ variant may be added after seeing results."
• 实词重合：third 和 ⟨X⟩，两个。

（两句照原文结构抄下来，只把领域名词换成 ⟨X⟩ —— 那是一篇在投稿件。 重合词数是在原句上数的。）

能抓住这个例子的门槛会匹配几乎任何东西。 原因很简单：论文是在转述契约，不是在引用契约。 于是 --prereg 最后只输出"最匹配的那一行 + 重合词数 + 出处"，由人判断。 作者写下的理由值得照抄：设一个能让这个例子通过的阈值，就是又编一个数字。

为什么¶

"一个标签盖了几种根因，而几种的处置不同"本身是常见毛病 （见 一个标签盖了三种根因，而三种的处置相反——"可能是幻觉"的三张脸）。这里多了一层： 处置不是不同，是相反。于是聚合数不只是粗，它的符号是错的 —— 把三类加在一起得到的那个数，越大可能意味着论文越好。 一个符号错的指标比没有指标更危险，因为按它行动会主动把论文改坏， 而且改的正好是作者最该保留的那几句。

第二层是关于什么时候不该实现判别法。 这里的诱惑很具体：已经有一个现成的对照物（预登记文件）， 已经有一个现成的相似度（词重合），把阈值调到让已知样本通过是十分钟的事。 而那样做出来的阈值只编码了这一个样本，在下一篇论文上没有任何依据。 把"最匹配的那一行 + 重合词数"摆出来让人看，信息量不比一个布尔值少， 而且它不假装自己知道答案。

这和同一个项目里延期的另一条检查是同一个决定： 四篇论文都出了真实的"一个符号两种含义"缺陷，但最危险的那一个 （一侧由公式正式定义、另一侧从没被定义过，只在一个括号里出现过） 会被"同一符号被给了两次定义"这条显然规则漏掉。 没被定义的那一侧才是有害的那一侧，因为读者会用他手上唯一的定义去解它。 于是这条检查明确不做，理由写下来：四个样本要先分成两种结构， 按错的那一半调规则会亏得更多。

怎么用¶

给判定方向做一次符号检查：这个数变大，是好事还是坏事？ 如果答案是"看情况"，那就说明计数里混了不同类，而且混的方式很可能改变符号。 在拆开之前，这个数不该产生判定。

判定不出来的时候，输出证据而不是结论。 "最匹配的那一行 + 重合词数 + 出处"是一个好格式： 它把人要做的那一步判断留给人，但把人需要的材料找全了。 见 会产生"指控"的工具，误报代价不对称——先归一化再开口： 会产生指控的工具，误报代价不对称。

要分类器之前先数样本。 上面那两句的实词重合是 2 个。 这个数一分钟就能算，算完就知道没有阈值能工作。 先量可分性，再写分类器 —— 顺序反了就会得到一个只在样本上成立的阈值。

区分"写在前面的约束"和"写在后面的退让"要看时间，不看措辞。 措辞上两者几乎一样（都是"我们不声称 X"）。能区分它们的是 它出现在哪个文件、那个文件的提交时间在实验之前还是之后。 措辞分不开的东西，往往元数据能分开。

出处¶

~/Tools/final-reviewer：CALIBRATION.md 的 「免责句有三种，符号会反 —— 所以它不再产生 WARN」一节 （含三类的例子、--prereg 只给候选行的理由，与那句"设一个能让这个例子通过的阈值， 就是又编一个数字"）、fixtures/roundtrip.sh:416-440（--prereg 的两条用例）。 延期的符号冲突检查在 ~/Tools/nonexpert-review/CALIBRATION.md 「延期：符号冲突检查，以及为什么显然的规则是错的」一节。