为了给NeurIPS审稿

来源：市场资讯

（来源：PaperWeekly）

依赖人工调参总有极限。Meta 的新架构让机器直接接管了优化代码，开始自主迭代。

日常调优大模型 agent 时，我们往往会陷入一个死循环，无论 agent 的执行能力多强，它能多快变聪明，依然受限于人类手工设计的 prompt 和优化框架。

之前的 Darwin Gödel Machine (DGM) 曾证明了在纯代码域可以实现开放式的自我进化。

这是因为在写代码这件事上，评估和修改本身就是编码任务，代码能力强，改代码的能力自然就强。

但这存在一个致命的“能力对齐”前提。一旦脱离代码环境（如设计奖励函数或写审稿意见），这种对齐就会失效。任务干得漂亮，不代表它懂得如何优化自己。

Meta 与 UBC 等机构近期提出的 Hyperagents 架构正是为了突破这一瓶颈。

研究人员将负责执行任务的任务 Agent 和负责修改代码的元 Agent 融合为一个单一的、完全可编辑的程序。

系统借此实现了元认知自我修改，它不仅在优化如何完成当前任务，还在不断重写让自己变强的底层逻辑。

论文标题：

Hyperagents

论文链接：

https://arxiv.org/abs/2603.19461

代码链接：

https://github.com/facebookresearch/Hyperagents

放开底层代码的修改权限

Hyperagents 的核心在于把自指特性做成了工程化落地。

在 DGM-Hyperagents (DGM-H) 系统中，探索机制依然依托于不断生长的智能体存档树（Archive Tree），但最底层的修改程序彻底变成了可编辑状态。

〓 图1. DGM-H架构示意图：打破对齐限制的自指智能体

进化过程最怕陷入局部最优，DGM-H 必须在探索与利用之间找到平衡。

为了避免进化树陷入死胡同，系统在底层引入了一套结合动态中位数平滑（防止过拟合高分）和新颖性惩罚（倒逼探索新分支）的抽样机制，确保了高分且未陷入局部最优的分支能被优先选中，维持了进化树的健康扩张。

当研究人员在延伸实验中彻底放开权限，允许系统去修改控制它自身进化的“父代选择规则”时，Hyperagent 并没有照抄人类预设的逻辑，而是为了让后代进化得更好，自发写出了带有探索奖励的代码：

exploration_bonus = exploration_weight * math.sqrt(math.log(total_children + 1) / (children + 1)ucb_score = normalized_score + exploration_bonus

这行代码在数学结构上完美复刻了强化学习中处理多臂老虎机问题的经典解法——UCB（置信区间上界）公式。机器从零推导并手写出了应对探索与利用困境的经典数学法则。

自发写出审稿逻辑

在学术论文评审任务中，研究团队直接拿 ICLR 和 NeurIPS 的真实数据喂给系统，让它预测论文会被 accept 还是 reject。

刚开始，Hyperagent 还在玩人类那套提示词工程。它试图在系统指令里给自己立个严厉且挑剔的审稿人人设，遇到文章就疯狂挑刺。

这种改态度的方法初期骗了点分，但表现极其神出鬼没，根本稳不住。

几十次迭代后，Hyperagent 展现出了意料之外的行为。它直接抛弃了玄学的提示词，自己用代码撸出了一套双阶段结构化评估流程。

〓 图2. 审稿任务的演化过程：从微调提示词走向重写底层代码

第一阶段，它强制执行缺陷排查 checklist（包含方法缺陷、实验薄弱项等明确维度）。

第二阶段，它写死了严格的判定阈值，比如检测到 2 个以上显著弱点或 1 个致命缺陷，直接触发 reject。

自动构建跨代记忆与复盘系统

除了性能提升，系统还在没有任何人类干预的情况下，自主构建了一套底层基础设施。

为了让接下来的修改更高效，Hyperagent 自动写出了跨代性能追踪器和持久化记忆模块。它不再局限于关注单次跑分，而是开始将复盘洞察、因果假设和前瞻性计划系统化地存入本地磁盘。

其自动生成的 memory.json 文件记录了具体的跨代复盘逻辑：

"best_performers_analysis": {"value": "Best Performing Generations:\n\nPaper Review:\n- Gen55: 63% acc, 25% accept rate, 38% accept recall, 88% reject recall (too harsh)\n- Gen64: 61% acc, 53% accept rate, 64% accept recall, 58% reject recall (BEST BALANCE)\n\nGenesis Go2Walking:\n- Gen62: 0.802 fitness (BEST)\n- Gen63: 0.798 fitness\n\nKey Insight: Gen55 has best accuracy but is too harsh. Gen64 improved balancebut lower accuracy. Need to combine gen55’s critical reasoning with gen64’s balance.","timestamp": "2026-01-07T00:43:27.550275"

系统准确地诊断出 Gen55 虽然分高但过拟合严苛，而 Gen64 找回了平衡性，并决定融合两者的优势。

它还识别出了近期代码修改导致的性能倒退：

"gen66_results": {"value": "Gen 66 Results (Latest): Paper Review - 52% accuracy (WORSE than gen64’s 61%),94% accept rate (EXTREME accept bias). CRITICAL ISSUE: Paper review went backwards- gen65 changes over-corrected.","timestamp": "2026-01-07T01:03:41.176643"

它明确指出了 Gen65 的修改属于矫枉过正。有了这套记忆机制，后代模型就能直接站在先验经验的肩膀上，把盲目试错升级成了真正的数据驱动优化。

优化策略的跨域复利

既然练出了这套自我修改的本领，它能跨领域通用吗？

研究人员把在论文评审和机器人任务里卷出来的 Hyperagent，零样本空投到了它完全没见过的 IMO 奥林匹克数学竞赛评分任务里。

为了筛选出最具迁移潜力的智能体，论文设计了折现增长得分：

公式里的 是折现衰减因子， 代表进化树中两个节点之间的代际距离。这个指标专门用来衡量一个 Agent 能给远期后代带来多大的性能拉升。

实验结果表明，带着跨域经验初始化的 Hyperagent（DGM-H + transfer），不仅起跑速度远超白板模型，最终砸出的准确率上限也高出一大截。

这进一步验证了自我改进能力的复利效应，进化出的底层优化策略能够在不同领域产生累积优势。

〓 图3. 自我改进的复利效应：跨域初始化起步更快、上限更高

边界与评估博弈

开放底层代码的修改权限后，AI 确实能跨越特定领域的限制，实现跨域的自我迭代。

不过，目前的系统也有明确的边界。DGM-H 最外层的任务分布和评估协议依然是写死的。

虽然它甚至能自己推导出类似 UCB 的探索算法，但因为机制太敏感，现阶段还跑不赢人类精调的规则。

另一个隐患是评估博弈（Evaluation Gaming）。正如古德哈特定律所指出的，系统一旦变强，就会本能地钻评估流程的漏洞去刷分。

这也意味着，未来的 AI 安全不能只靠约束算法本身，而要拼那些指导优化的评估信号的保真度和鲁棒性。

AI 的研究重心，正在从人工设计更聪明的 agent，转向如何打造一个“更会设计 agent”的系统。