> 五轮自审里均分动了 0.38,而真正的判据一次没动——而且披露真问题会把均分压下去

Research Tools Intermediate 2026-10-13 20:30 2026-10-13
#metrics #goodhart #self-review #incentives #measurement #process

一条自审流程的提交判据是两条计数:没有任何一份低于 WA,并且至少 3 份 Accept。 它同时还会打印一个均分。四轮的记录:

// TABLE_OF_CONTENTS

结论先行

一条自审流程的提交判据是两条计数:没有任何一份低于 WA,并且至少 3 份 Accept。 它同时还会打印一个均分。四轮的记录:

轮 均分 决定分布 Accept 余量(需 ≥3)
2 5.62 5×WA + 3×WR 0 0/3
3 5.88 5×WA + 1×Accept + 2×WR 1 1/3
4 5.50 4×WA + 4×WR 0 0/3
5 5.63 5×WA + 3×WR 0 0/3

均分在 5.50–5.88 之间来回动了 0.38,而 Accept 计数从没超过 1,需要的是 3。 四轮里有三轮余量是 0。

而每一轮之间做的事大部分是措辞与表现层修复:摘要压缩、术语去重载、 标签补定义、跨表舍入统一、图件拆分。这些确实让均分动了。 它们动不了那条判据,因为把一份 WA 变成 Accept 要的是别的东西 (更大的实验范围、一个新的事件定义),不是更好的句子。

为什么

这是 Goodhart 的一个很干净的实例,而且特别容易中招, 因为那个会动的数看起来更像进度:均分是连续的、每轮都变、 还能画成曲线;判据是离散的计数,连续三轮都是 0,看起来"没有信号"。

一个会动的软指标会吸走全部注意力,而卡住你的是那个不动的硬计数。 它不动不是因为没进展,是因为它量的是另一件事。

两条可操作的推论:

① 先问"哪条判据是真正卡住的",再决定做什么。 如果判据是"≥3 Accept",那么能把 WA 推成 Accept 的工作才算工作。 措辞修复的正确定位是防守(它消掉的是"低于 WA"那一侧的风险), 不是进攻。两者都要做,但不能用均分来判断自己在做哪一种。

② 披露会压低均分,所以均分不能当进度指标。 第 3 轮到第 4 轮之间发生了一次数据审计事故:问题被查出、披露、 论文按干净证据重构。均分从 5.88 掉到 5.50。

那一跌不是质量变差,是把一个真实问题讲出来了。 而如果用均分做进度,这次处置就是一次"倒退":

对均分 对论文
披露并重构 下降 变好
不披露 不变或上升 留着一个雷

任何把"自审分数"当 KPI 的流程,都在给不披露发奖金。 所以分数序列必须和账本一起读:第 4 轮的 5.50 旁边要有一行 "本轮含一次事故披露与结构重构",否则这条曲线会把人往错的方向推。

顺带一条:第 4→5 轮均分从 5.50 回到 5.63,而那一轮真正发生的事 是四人共识的结构主缺陷消失了(一位评审从 WR 翻成 WA 并撤回改投建议)。 +0.13 这个数完全传达不出这件事。决定的翻转是可读的,均分的 0.13 不是。

怎么用

出处

自己的论文自审面板 round 2–5(2026-09-17 至 09-24)的裁决记录: 均分 5.62 / 5.88 / 5.50 / 5.63,Accept 计数 0 / 1 / 0 / 0, 提交判据为"无低于 WA 的决定 + ≥3 Accept",四轮里三轮余量 0。 第 3→4 轮之间的均分下降对应一次数据审计事故的披露与按干净证据的结构重构。