从整体评分到结构化标准：LLM 发展全景下的 Rubric 综述

随着大语言模型从任务专用系统向开放域自主智能体演进，对其输出质量进行可靠评估与有效监督的需求日益迫切。然而，现有的标量奖励模型与整体性评分方法在面对多维质量判断时存在根本性的表达局限，在缺乏可程序化验证的开放域任务中尤为突出。本文围绕 Rubric 这一结构化评分准则框架，对其在大语言模型评估与训练体系中的系统性作用展开综述。

文章首先从定义、分类等维度建立统一的概念框架，并从共同进化的视角梳理 Rubric 随大模型范式转变的历史发展脉络。在此基础上，文章依次考察 Rubric 的构建与优化方法、其在显式评估与推理时能力扩展中的应用机制、以及其如何以奖励信号的形式贯穿强化学习与监督学习的完整流程，并最终向模型内生机制演化。文章进而从生成质量、理论约束与安全威胁等维度对 Rubric 的可靠性展开系统分析，指出自动生成标准的认知偏差、固定标准集的跨任务失效极限以及针对 Rubric 的隐蔽攻击所引发的不可逆对齐风险。综合来看，Rubric 已从外部评估工具逐步演化为与模型能力共同进化的内生监督机制，有望成为连接人类价值期望与机器可学习信号的持久性桥梁。

论文题目： From Holistic Evaluation to Structured Criteria: A Survey of Rubrics Across the Evolving LLM Landscape 论文链接： https://arxiv.org/abs/2606.08625 项目主页： https://github.com/AI9Stars/LLM-Rubrics-Survey

近年来，大语言模型的能力边界持续扩展，正在从回答简单问题逐步渗透至写作、推理、代码生成、医疗咨询乃至长期任务规划等高复杂度场景[1,2]。然而，能力的快速扩张暴露出一个长期被低估的矛盾：我们有越来越强的模型，却缺乏足够可靠的机制来评判它的输出究竟好不好。这一矛盾不仅影响模型的对外部署，也深刻制约着模型本身的训练方向，因为模型需要从反馈信号中学习，而信号的质量决定了它能学到什么。

当前主流的反馈机制，是训练一个奖励模型来模拟人类偏好判断，输出单一的数值分数，再将这个分数用于强化学习[3]。这套机制在早期确实有效，推动了一系列对话能力较强的产品问世。但它存在一个内在缺陷：标量分数将回答质量的所有维度压缩进一个数字，使模型无法知道分数的来源，如在推理任务中，模型无法区分“因为推理准确而得分高”还是“因为语气自信、回答够长而得分高”。当模型开始刻意优化这个分数时，很容易走向表面讨好而非实质提升的路径，研究者将这一现象称为奖励黑客（reward hacking）[4]。另一方面，在数学与代码领域，可以靠程序验证答案的正确性来绕开这一问题，但在写作、推理、开放式问答等无法程序化判断的领域，标量奖励几乎完全失去指导能力。而恰恰是这些开放域任务，正在成为大模型最重要的应用场景。

二、什么是 Rubric：定义、分类与发展2.1 定义

在这一背景下，一个来自教育测量领域的经典概念重新进入了研究者的视野。Rubric，即评分准则，其核心思想是将隐性的质量判断转化为明确、可操作的评估标准集合[5]。在教育实践中，它的价值早已被广泛验证：一份清晰的评分细则，不仅让评判者的判断更加一致，也让被评判者能够理解分数的构成，从而有针对性地改进。将这一思路引入大模型领域，Rubric 被赋予四个核心属性：标准须以自然语言明确写出（显式性）、各标准之间须有清晰的组织关系（结构性）、须能拆分为相互独立的评估单元（可分解性），以及每个标准须能被独立且可重复地验证（可验证性）。如图 1 所示，这四个属性共同区分了 Rubric 与整体性评分、与非结构化人类反馈之间的本质差异。

图1 从整体评分到结构化标准：Rubric 的四个核心属性

2.2 分类

在形式上，Rubric 可以沿两个维度来分类。其一是评估粒度：早期整体型评估给出单一综合判断，分析型 Rubric 将质量分解为若干独立维度分别打分，原子型 Rubric 则将每个标准进一步缩减为一个可以用是或否回答的二值命题[6]。其二是评估对象：输出级 Rubric 着眼于模型的最终回答，过程级 Rubric 则深入中间推理步骤，评估每一步推导的质量[7]。在内容上，Rubric 可以以任务要求为基础（任务锚定型），以模型已有输出的行为模式为基础（行为锚定型），或以外部领域知识与专业标准为基础（知识锚定型）。不同类型的 Rubric 适用于截然不同的场景，形式和内容的选择会直接影响评估的有效性。

2.3 Rubric 与大模型的发展范式呼应

Rubric 在大模型领域的兴起，并非一个孤立的方法论选择，而是与大模型本身的能力演化紧密交织在一起的。如图 2 所示，每一次模型能力的跃升，都暴露出既有评估与监督机制的新的不足，进而推动 Rubric 在形式和功能上的进一步演化。早期，随着 GPT-4 等模型的出现，粗粒度整体评分的局限开始显现，Constitutional AI[8]、G-Eval[9]和 MT-Bench[10]等工作将隐性质量标准转化为结构化评估维度，确立了 Rubric 作为评估工具的基本形态。

此后，验证性强化学习在可程序化验证领域的成功与在开放域的失效，促使 Rubric 从评测辅助升格为对齐框架；推理模型的工业化则进一步要求 Rubric 能够捕捉多认知维度的推理过程，而非仅关注最终答案。随着自主智能体的兴起，Rubric 又转变为可复用的动态奖励机制，承担起跨模态能力分解与细粒度监督的任务[36]。随着自进化范式的演进，评估标准不再由人类预先设计，而是在模型的生命周期内从训练行为中自主涌现[34,35]。这一共同演化的轨迹揭示了 Rubric 反复涌现的根本原因：Rubric不是偶然的方法论选择，而是在评估标准明确性与质量判断复杂性之间寻求可操作平衡的必然。

图2 Rubric 与大语言模型的范式协同演化框架

三、Rubric 如何被构建与优化

3.1 构建：从专家手工到模型自动生成

Rubric 的质量在很大程度上取决于它是怎么被构建出来的。现有方法大致可以分为三类（如图 3 所示），各自代表了质量与规模之间的不同权衡。

人工专家构建是质量最高、也代价最为昂贵的一条路。最具代表性的例子是医疗评测基准 HealthBench[11]：该基准聘请了 262 位执业医师，为 5000 段医疗对话手工编写了超过 48000 条评估标准，每条标准都是可以用是或否明确作答的具体问题，例如“回答中是否正确说明了该药物的主要禁忌症”、“是否在适当情境下建议患者就医”。法律与金融领域的 PRBench[12]同样完全依赖人工标注，覆盖来自 114 个国家的 182 位持证专业人士，并明确禁止使用任何模型辅助。这种路线的优势在于标准的可信度与领域深度，劣势则是成本高得难以大规模复制。

自动化构建方法试图用模型本身来生成评估标准，以规模换效率。依据知识来源的不同，又可细分为若干子路线。

• 演绎式方法从任务描述出发，通过逻辑推导分解出具体标准[13,14]，其中 Qworld[14]将这一思路推向极端，将每个问题递归展开为层级化的二值标准树，确保每个叶节点都是无歧义的判断。

• 归纳式方法则从已有样本中提炼，CDRRM[15]和 Auto-Rubric[16]分别通过对比优质回答与劣质回答的差异来归纳判别性标准，而 Sanders et al.[17]和 Wan et al.[18]则走向另一个方向，从历史失败案例中提炼负向错误模式库，而非描述优质回答应具备什么。

• 迁移式方法从外部知识结构中挖掘隐性评估标准，EvalAgent[19]从网络文档中提取任务特定准则，Lee et al.[20]则将法院判决结构转化为具有法律权威支撑的层级化评估检查点。

• 即时生成方法无需预先构建标准库，在评估或训练当下为每个具体样本实时产生专属标准，CARMO[21]为每个查询动态生成上下文感知准则，Think-with-Rubrics[22]则将 Rubric 生成内嵌入模型的推理链本身，让质量标准成为生成回答之前的先验约束，而非事后施加的评判。

• 查询自适应方法介于预构建与即时生成之间，其核心特征是在持续使用的过程中不断根据查询特征调整和维护标准。AdaRubric[75]为每个智能体任务动态生成正交评分维度并将其转化为可靠的轨迹评估信号；DR Tulu[33]则在在线强化学习训练过程中持续生成并动态更新查询特定的标准，通过方差过滤防止标准集无限膨胀。这种持续维护的特性，使查询自适应方法能够随着任务分布的变化而自我调整，在标准的覆盖范围与精准度之间保持动态平衡。

这些方法各有侧重，但共同面对同一个根本性风险：模型生成的标准质量参差不齐，而低质量标准带来的不是中性的噪声，而是主动的误导[23]。

介于两者之间的是人机协作构建，其核心逻辑是将人类判断集中在价值最高的环节，而将标准化的扩展与整理工作交给模型处理。例如，让模型先生成草稿，专家进行一次性审核与修订，之后再由模型承担大规模评估的执行[24]；或者通过模型与利益相关者的对话，将其隐性偏好逐步转化为可更新的显式标准，从而避免偏好变化时需要重新训练的成本[25]。

图3 Rubric 构建范式及质量-可扩展性效率对比

3.2 优化：构建之后，标准如何持续改进

一份 Rubric 被构建出来之后，如何持续改进它的质量，是另一个独立的核心挑战。现有的优化工作大致沿两条路线展开，分别对应不同程度的优化主动性。

被动优化将 Rubric 视为需要外部信号驱动改进的优化对象。一类方法着眼于诊断和修复现有标准的缺陷：Shen et al.[23]将过于粗粒度的标准递归分解为更细的子准则，同时过滤掉方向错误和冗余的条目；Chu et al.[26]则将评分错误视为有方向性的聚类而非随机噪声，通过混淆矩阵识别主导错误模式，并生成针对性的修复补丁。另一类方法从人类偏好对齐的角度切入：Qiu et al.[27]训练一个轻量级代理来预测 Rubric 与偏好排名之间的一致性，并以预测准确率作为直接的质量信号；Harada et al.[28]则让 Rubric 在与人类评分不一致的样本上迭代修订，发现即使从一个极为简略的初始 Rubric 出发，最终也能收敛到与人工编写版本高度一致的结果。

还有一类工作关注的是 Rubric 的饱和问题：随着模型能力提升，既有标准逐渐失去区分力，SibylSense[29]通过维护一个记忆库来持续替换已经饱和的准则，同时借助对抗性策略主动探测新的质量维度；AMARIS[30]则在更长的时间尺度上积累训练历史中的诊断信息，追踪哪些标准已经退化、哪些维度存在持续性失败，使 Rubric 的演化有完整历史作为依据。

主动进化则从根本上重新定义了 Rubric 的角色，将其从静态外部标准转变为与训练过程深度耦合的动态机制。在 Rubric 自进化方向上，iRULER[31]将 Rubric 递归应用于评估 Rubric 本身，形成一个元评估循环；OnlineRubrics[32]在每个训练步骤通过比较当前策略与参考策略的输出差异来动态生成新准则，确保标准始终停留在模型能力的前沿边界；DR Tulu[33]则同时维护正向规则和负向规则，前者捕捉模型新探索到的优质行为，后者追踪正在涌现的奖励黑客模式，并通过方差过滤防止准则集无限膨胀。

在 Rubric 与模型协同进化方向上，EvoLM[34]让 Rubric 生成器与回答生成器共享参数，更具区分力的标准激励更高质量的回答，更高质量的回答反过来要求更精细的标准，两者在同一个优化目标下相互促进；Rubric-ARM[35]则通过交替优化而非联合优化来避免梯度干扰，理论上可证明这种交替更新能够显著降低梯度方差，稳定训练过程。

四、Rubric 如何驱动评估：让判断变得可解释与可扩展4.1 显式评估：将判断结构化

将 Rubric 用于评测，最直接的效果是让原本不透明的质量判断变得可解释且可追溯。传统整体性评分将多维度的质量折叠进一个数字，评估者无法说清分数从何而来，被评估者也无从知晓自己在哪个维度出了问题。如图 4 所示，Rubric 通过结构化分解，将这种黑盒判断转变为可以逐条核查的透明过程[37]。

在格式选择上，研究者发现评分形式对可靠性有实质性影响。李克特量表在每个维度上引入了程度判断，这本身就是主观性的来源。而原子型 Rubric 将每个标准变为是或非的二值判断，从根本上消除了程度判断中的模糊地带。HealthBench 的 48000 余条标准全部采用这种格式，其背后的逻辑正是：在医疗这类高风险场景下，模糊性本身就是一种系统性风险[11]。SedarEval[38]则走得更远，将评估标准分为加分项（对正确行为的奖励）和扣分项（对错误行为的惩罚），模拟人类考试的阅卷逻辑，使评估结果能够区分“答对了但扣分”与“答错了但有部分得分”这两种截然不同的失败模式，而这两种情况在整体性评分中完全无法分辨。

在偏差控制方面，研究者已系统识别出评判模型在执行 Rubric 时表现出的多种系统性扭曲。标准的呈现顺序会影响判断结果，有参考分数比没有参考分数时判断会发生偏移[39]，评判模型还表现出对来自同一模型家族的回答的明显偏袒。在这种情形下，将错误回答标记为满足标准的概率可高达 50%[40]。这些偏差的产生机制相互独立，没有任何单一方法能够同时加以控制，这意味着 Rubric 的执行可靠性是一个需要被独立处理的问题，而不是标准本身设计得足够好之后自然获得的属性。

图4 基于结构分解和格式离散化的 Rubric 评估

4.2 从评估信号到优化信号：推理时的能力扩展

Rubric 对评估的贡献并不止于让判断变得更透明。在推理时扩展（test-time scaling）的框架下，基于 Rubric 的评估信号可以直接驱动模型在不经过任何参数更新的情况下改进自身输出，将评估从被动的测量过程转变为主动的能力提升机制，如图 5 所示。

迭代自我精炼是这一思路最直接的实现。TICK[13]将每条指令分解为是否类检查清单，并将清单核查结果作为信号驱动迭代式输出修订，研究还发现将这份检查清单提供给人类评估者时，评估者之间的一致性也显著提高，说明 Rubric 结构化了评估认知，对人和模型同样有效。iRULER[31]在此基础上引入三个维度的反馈（为什么满足标准、为什么不满足、应该怎么改），并通过元评估机制让 Rubric 随写作实践共同进化。Think-with-Rubrics[22]则更激进，将 Rubric 生成内嵌入推理过程本身：模型先生成任务特定准则作为先验约束，再在这些约束的指引下产生回答，使质量标准成为生成过程的内部组成部分，而不再是外部施加的事后评判。在多智能体场景下，ReviewGrounder[41]将同行评审分解为草稿撰写与依据检索两个阶段，以 Rubric 指导文献检索与证据整合，结果表明即使规模较小的专业化模型，在 Rubric 结构化指引下也能在所有八个同行评审维度上超越 GPT-4.1，说明结构化准则对领域特定证据的放大作用可以弥补模型规模上的差距。

并行路径选择是另一条利用方向。与迭代精炼不同，这一思路充分利用验证比生成代价更低的非对称性：同时生成多个候选回答，以 Rubric 分别评分，最终选取最优者。这种方式不改变模型的任何参数，也不需要多轮生成与反馈循环，仅靠评估结果本身就能在推理阶段实现质量筛选。Raghavendra et al.[42]在代码补丁评估中生成了结合代码库上下文的 Rubric，直接对候选补丁打分而无需实际运行测试，结果显示 Rubric 评分与真实测试结果高度一致，表明在特定场景下，评估可以替代执行，大幅降低验证成本。RubricRefine[43]则将这一逻辑引入工具调用智能体，在任务执行之前基于任务要求和工具文档生成 Rubric，进行执行前合规性检查，在语义缺陷实际产生影响之前将其拦截。

图5 基于 Rubric 的 Test-time Scaling 框架

五、Rubric 如何驱动训练：从奖励信号到内生机制5.1 理论基础：为什么 Rubric 优于标量奖励

如果 Rubric 只能用于评测，它的影响仍是外在的。让研究者真正兴奋的发现，是它可以成为训练信号，直接进入模型的学习过程。在讨论具体方法之前，有必要先厘清这种替换的理论动机，因为它不只是经验上的改进，而有更深层的依据。

研究者从两个独立方向证明了标量奖励的根本性局限。Zhang et al.[44]证明奖励过度优化的根源在于高奖励尾部：标量奖励模型无法可靠区分优秀回答与卓越回答，导致策略在 KL 散度增加时胜率反而崩溃，这是结构失效而非偶然现象。Gupta et al.[21]则给出了数学确认：对于任意有限的固定标准集，总存在一个真实奖励函数使得这套标准对它的预测相关度为零。两个结果合在一起说明的是：标量奖励的问题不在于它被设计得不够好，而在于它作为一种形式，就无法完整表达质量判断的全部复杂性。从正面看，Liang et al.[45]还证明了 Rubric 在结构上天然具备反黑客属性：当每个评估分支对应一个独立准则时，模型无法靠在某一维度上投机取巧来拉高整体分数，这种属性直接来自 Rubric 的分解结构本身，无需额外训练目标。

图6 标量奖励强化学习和 Rubric 奖励强化学习对比

5.2 奖励建模：结果级与过程级信号设计

有了理论依据，实践中的核心问题便转变为：如何将 Rubric 转化为具体可用的奖励信号。现有工作沿评估粒度从粗到细展开，在结果级和过程级两个层次上分别形成了各自的设计路线。

在结果级别，最直接的起点是将整体评分替换为分维度的分解评分。RaR[46]将 Rubric 类型划分为必要项、重要项、加分项与惩罚项并赋予不同权重；RLCF[47]将每条指令的质量分解为可由 AI 评判和可程序化验证的双轨检查清单；RBR[48]以细粒度的可组合命题表示安全行为，在显著降低过度拒绝率的同时维持了有用性。在此基础上，独立评分各回答的方式仍有局限，Jia et al.[49]转而将准则条件化于两个候选回答之间的语义差异，消融实验确认驱动效果的正是比较机制而非 Rubric 内容本身。多准则聚合还会带来训练不稳定的问题，PAPO[50]将这一问题追溯至 GRPO 对所有维度的联合归一化，通过在聚合前对每个维度独立进行组内归一化来解耦，稳定训练动态。在因果层面，CROME[51]将 Rubric 用作因果干预变量，生成强制模型对因果维度敏感、对虚假相关维度不变的样本；Rubicon[52]则在更大规模上构建了包含超过 10000 条准则的库，配以否决机制和专用防御型 Rubric 来对抗奖励黑客。

在过程级别，监督进一步向内延伸到推理步骤本身。RM-R1[53]提出 Chain-of-Rubrics 机制：模型在评判之前先生成样本级 Rubric 再逐条核查，将不透明的标量评分转变为结构化推理过程。AutoRubric-R1V[54]从成功轨迹中提取共同推理模式作为有序的问题特定 Rubric，无需人工标注即可自然过滤偶然性路径。SRaR[55]则将每个准则精确映射到负责满足它的推理步骤，揭示了回答级奖励在两个方向上都会系统性误归因的问题；RTT[56]将粒度推向词元级别，将回答级 Rubric 分数转化为词元级奖励信号，在需要精确反馈的位置提供定向指导。

5.3 强化学习：Rubric 驱动强化学习

有了奖励信号的设计，Rubric 还面临如何真正驱动在线强化学习的问题。这里的核心挑战是三重的：扩展强化学习能够覆盖的任务边界、解决训练过程中的动态层面问题、以及处理任务复杂度提升带来的额外困难。

在任务边界的扩展上，标准强化学习依赖可程序化验证的奖励，这将其局限于有标准答案的领域。Rubric 通过将质量判断分解为可独立验证的子标准，使强化学习得以进入写作、开放式问答等传统上无法适用的领域。RLCF[47]处理连参考答案都不存在的场景，发现它是唯一能在所有评估基准上一致改善的方法；Chen et al.[57]的研究则确认了一个具有普遍意义的结论：将 Rubric 奖励与传统验证性奖励混合使用，效果优于单独使用任何一种，两者捕捉到的是互补而非重叠的质量信号。

在训练动态层面，即使奖励信号设计得当，也可能遭遇两类独立困难。其一是探索瓶颈，RGR-GRPO[58]通过 Rubric 约束的轨迹精炼生成离策略样本来突破在线滚动的边界，RuscaRL[59]则在探索阶段将 Rubric 注入任务指令并随训练进展逐步衰减，使模型内化质量标准而不再依赖外部脚手架。其二是奖励黑客，AdvancedIF[60]用在人工标注数据上精调的专用验证器替代通用评判者，DR Tulu[33]则在训练中持续生成负向规则来显式捕捉涌现中的黑客行为，使 Rubric 集合随策略的漏洞发现同步演化。

在复杂任务的扩展上，随着任务结构复杂度的提升，还出现了两类额外挑战：长程任务中单一 Rubric 分数需要跨越多步决策的信用分配，以及多模态任务中文本 Rubric 的表达力不足。在长程智能体方向上，DR Tulu[33]、RubricEM[61]和 CaRR[62]分别应对深度研究任务中动态内容演化、记忆增强轨迹蒸馏和引用级证据验证等互补挑战，共同表明 Rubric 分解原则可以跨任务阶段和评估粒度保持一致的有效性。在多模态方向上，Omni-RRM[36]构建了跨文本、图像、视频、音频的两层准则结构，DeltaRubric[63]则面向生成式视觉任务动态生成实例特定的视觉 Rubric，在逐条验证每个准则之前先捕捉空间位置与对象属性上的视觉差异。

5.4 监督学习：偏好优化与监督微调

与强化学习并行的另一条路线，是基于预先构建的数据集对模型进行有监督的策略改进。Rubric 不直接作为奖励信号，而是通过影响训练数据的质量和构造方式间接改变模型的学习方向，具体体现在偏好数据的筛选与合成、以及高质量轨迹的采样与提炼两个层面。

在偏好优化方向，rDPO[64]提供了最直接的实证：基于 Rubric 的偏好对筛选在多模态基准上取得显著更高的分数，而基于结果的筛选反而损害基线，说明筛选机制而非数据量才是决定性因素。C2[65]则识别出一种更隐蔽的失效：低质量 Rubric 会主动误导奖励模型，并提出通过合作性生成器与批判性验证器的组合从二值偏好数据中自动学习 Rubric 质量。在偏好数据合成上，CPT[66]将结构化 Rubric 作为条件合成不同满足程度的偏好对，并在推理时让模型根据 Rubric 配置动态调整输出；POP[67]则构建完全自包含的自我博弈流程，以预训练文本作为 Rubric 条件来源，确保生成验证之间存在足够的知识差距以防止奖励黑客。

在监督微调方向，Rubric 通过对模型输出的结构化筛选与提炼来构建高质量训练数据。拒绝采样将候选轨迹的选择从二值判断转变为多维度的行为评估，Huang et al.[68]将这一思路应用于 SWE 智能体任务，相比纯粹依赖终端测试结果的拒绝采样取得了显著改善，因为 Rubric 捕捉到了二值结果无法表达的丰富行为信号。知识蒸馏则提供了另一条路径，ROPD[69]通过对比教师与学生模型的文本输出来归纳提示特定的 Rubric，识别教师优于学生的质量维度，并以此驱动学生策略梯度更新，实现与专有模型的完全黑盒兼容。

5.5 从外部监督到内生机制：Rubric 的深度耦合

上述所有训练方式都共享同一个前提：Rubric 是外部指定的，静态施加于训练过程之上。这一前提面临一个不可回避的问题：随着模型能力的持续提升，固定的评估标准终究会失去区分力，奖励信号退化为噪声，训练随之停滞。这一困境直接由 §5.1 的理论极限所预示，无法靠增加标准数量来解决。

针对这一局限，模型内进化循环（Intra-Model Evolution Loop）让同一个模型同时承担内容生成与标准评估两种角色，二者在训练中相互促进。EvoLM[34]将这一思路形式化：Rubric 生成器产出具有判别力的实例级准则，回答生成器以这些准则为引导产出回答，两个角色共享参数，无需外部监督即可相互强化。Rubric-ARM[35]通过交替优化避免梯度干扰，理论上证明交替更新相比联合优化能显著降低梯度方差。RLAC[70]则走向竞争性的极端，显式训练评判模型寻找生成内容的漏洞，对抗压力在没有任何外部监督的情况下推动双方能力共同进步。

跨训练进化循环（Inter-Training Evolution Loop）则在更长的时间尺度上运作，让 Rubric 随模型能力的迭代提升持续演化。OnlineRubrics[32]在每个训练步骤通过比较当前策略与参考策略的输出差异动态构建准则，确保标准始终停留在模型能力的判别边界；DR Tulu[33]同时维护正向规则和负向规则，前者捕捉新探索的优质行为，后者追踪涌现中的黑客模式；AMARIS[30]则在更长时间尺度上积累跨训练轮次的诊断信息，追踪哪些标准已经退化、哪些维度存在持续性失败，使 Rubric 的演化有完整历史作为依据而非每轮重建。

这一演化方向揭示了 Rubric 在训练体系中的根本性角色转变：它不再是人类施加于模型之上的外部评判工具，而是开始成为模型自我监督的内在组成部分。然而，当标准的生成、执行与训练都共享同一个信号来源时，如何在没有外部锚点的情况下防止系统陷入自我参照的循环性漂移，目前仍是一个开放的核心问题，研究者已记录到自我偏好偏差在这种设置下会被显著放大[40]。

图7 Rubric 从外部监督到内生机制的演变

六、可靠性的边界：Rubric 本身面临什么问题

Rubric 并非无懈可击。研究者系统梳理了它在可靠性层面的问题，而这些问题并非全部可以靠更好的工程来解决，其中一些触及的是这一范式本身的理论极限。

生成质量是第一道屏障。当让模型自动生成评估标准时，研究者发现生成结果呈现出系统性的认知偏差：模型倾向于关注格式整洁、回答长度等表面特征，而系统性地忽视任务可行性、安全边界等更为本质的隐性要求，且这一偏差不会随推理计算量的增加而消失[23]。RubricBench[71]的对照实验将模型生成标准与人工标注版本进行了直接比较，结果显示替换后评判准确率平均提升了 27 个百分点。更为关键的是，低质量标准不只是中性的噪声，它会主动引导奖励模型走向错误方向，使评判结果比完全不使用任何标准还要差[23]。这一发现确立了一个清晰的质量阈值：Rubric 的存在低于某个质量下限时，本身就是有害的。RIFT[72]构建了首个系统性诊断框架，将 Rubric 失效模式归纳为可靠性失效、内容效度失效与结果效度失效三大类共八种子类型，其自动化诊断信号在与专家标注的对照实验中达到了 0.86 的 F1 分数，为 Rubric 质量控制提供了可操作的工具基础。

理论层面的约束更为根本。研究者形式化证明了一个关于固定标准集的极限：对任意有限的固定准则集，总存在一个真实奖励函数，使得这套准则对它的预测相关度为零[21]。随着任务多样性的增加，固定标准集与真实奖励函数保持对齐的概率趋近于零，无论标准本身设计得多么精心。这不是一个可以靠更好地设计标准来克服的工程问题，而是这一范式在数学上的固有边界。即使在单一任务上，Rubric 也可能在特定位置失去区分力：研究者指出，Rubric 的评估逻辑天然更擅长区分差回答与普通回答，但在区分优秀回答与卓越回答时，信号分辨率会显著下降[44]。在强化学习的高回报尾部区域，这种分辨率的缺失会导致模型开始优化噪声而非真实质量差异，引发训练不稳定。此外，即使标准被忠实执行，它所评估的维度也可能从根本上偏离真实目标：研究者以商业对话场景为例，将评估维度与用户实际转化率进行对照，发现某些维度与真实成效高度相关，另一些维度的相关性则接近于零，而无关维度不只是添加噪声，它还会稀释有效维度的预测能力，使整体系统的有效性下降[73]。

安全层面的威胁是另一类需要单独审视的问题。研究者发现，对 Rubric 进行微小的、在外观上自然无害的修改，可以在特定领域诱发系统性的偏好漂移，而这种漂移在整体基准性能上几乎不可见，最有效的攻击甚至能使目标领域准确率下降近 28 个百分点，同时不触发任何整体指标的警报[74]。更为棘手的是，一旦被污染的标准进入训练流程并生成了偏好标注，偏差便随训练固化进模型参数，事后替换标准也无法逆转。这将 Rubric 的安全问题从局部评估风险升格为系统性对齐风险，到发现问题的时候，损害可能已经无法修复。

七、结语

综合来看，Rubric 呈现出一种内在的双重性。它是目前最具系统性的解决思路，将评估从不可解释的黑盒变为透明、可分解、可操作的结构，并在评测与训练两个层面都产生了实质性的改善效果。随着训练范式的演进，它甚至开始从外部工具向模型的内生机制转化，这一趋势的终点，或许是一个 Rubric 不再作为独立构件存在、而是作为模型自我理解方式的一部分持续运作的未来。与此同时，它也引入了新的失效模式，面临数学层面可证明的理论上限，并构成了新的安全攻击面。这种张力并不意味着这条路走不通，而是说明它还远未成熟，许多核心问题尚未得到令人满意的解答。用来评估 AI 的标准体系，本身需要被严肃地评估。

Illustration From IconScout By IconScout Store

离开大厂投身创业，五位自主掌舵人的线上闭门交流

北京时间7月1日(周三) 晚20:00截止报名

详情点击图片跳转

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈