递归改进闭环：模型如何参与研发下一代模型

面向模型研究负责人、Agent系统架构师与研发治理负责人的机制级技术报告

证据截止日期：2026-07-24

五分钟结论

“模型辅助研发下一代模型”不是一个单一的“模型修改自己权重”问题。公开系统中至少存在四种不同但可耦合的学习动力学：

1. 评估器门控的参数或策略更新：模型生成候选，由答案、奖励、测试或另一个模型筛选，再用通过的产物更新后继模型。STaR、Self-Rewarding LMs和部分RLHF/RLAIF系统属于这一形态。
2. 可选择的产物库改变后续提案：成功程序、技能、经验或Agent代码进入可检索、可选择的库，下一轮生成直接以该库为条件。DreamCoder、Voyager、ExpeL、FunSearch和Darwin Gödel Machine（DGM）展示了不同强度的这种机制。
3. belief、prior或世界模型进入决策：环境经验更新内部动力学、后验或任务先验，后继搜索、规划或策略学习消费它。Dreamer、MuZero以及层级贝叶斯learning-to-learn提供了不同语义的实例。
4. 群体、课程或对手分布共同演化：选择作用于一组模型或程序谱系，而不是固定单体；后继个体、超参数或任务分布随群体状态变化。Population Based Training（PBT）是清楚的机制锚点。

真正接近“长期任职员工”的Agent，通常不是只选其中一种，而是把经验/技能库与环境belief或世界模型结合，并由独立验证、谱系、权限、准入和回滚组成治理平面。权重更新适合巩固已经反复验证的技能；事件级事实、工作历史、来源和可撤销规则更适合保存在参数外的版本化系统中。

公开证据同时给出一个重要的负面结论：本次检索找到的系统分别闭合了数据、程序库、Agent代码、群体训练或规划的强局部循环，但尚未找到一个公开系统同时展示以下全部能力：

• 在真实、持续变化的研发环境中行动；
• 将经验以带来源、可冲突仲裁、可删除的形式跨任务保留；
• 让经验明确改变后继Agent或模型；
• 使用与优化过程隔离的隐藏回归评测；
• 对版本晋级和回滚留下可审计记录。

这个结论只适用于本文61项有效候选及其一手引用链，不等于工业界或全领域不存在此类系统。更准确的说法是：现有公开证据呈现的是闭环断点分布，而不是已经完成的全栈递归自我改进。

跨代证据尤其稀薄，但“轮数”不能跨范式直接排序。DreamCoder的20个wake/sleep周期传递typed library与识别模型；DGM的80轮传递Agent代码与archive，并由反复接触的开发benchmark施加fitness；STaR的16轮传递父代筛选数据，却每代从共同基座重训；Model Collapse的多代则没有正向选择器，只是生成数据回灌。它们的计数对象和选择压力不同，因此不能因80大于20就断言递归证据更强。经“传递物×选择压力”重排后，本次来源池仍未发现同时具备多轮后继更新、外部独立复现和held-out分布漂移测量的工作。

因此，当前最可行的工程路线不是让生产模型自由修改自己，而是建立一个受治理的递归研发栈：模型提出候选，真实工具和测试执行验证；通过的经验进入带来源的库；独立评测器和受保护测试集决定晋级；参数更新延迟到多次验证后；任何晋级都可追溯、可撤销。模型可以扩大搜索和试验吞吐，但不能同时垄断提案、裁判、记忆写入和版本准入。

1. 研究对象：什么才算递归改进

1.1 最低判据不是“保存了状态”，而是状态改变下一轮

设第t轮控制行动、候选或参数的分布为p_t，累计状态为S_t，新证据为e_t。递归消费的最低表达是：

p_{t+1}(·) = F(p_t, S_t, e_t)。

这一定义排除了三类常见混淆：

• 只存不读：日志、轨迹或artifact被保存，却没有证据表明它影响下一轮采样、搜索、损失或任务分配；
• 轨迹内反馈：测试输出只改变当前任务的下一步动作，没有跨任务持久状态；
• 只有版本记录：谱系系统知道哪个模型由谁产生，但并不自行产生学习更新。

例如，SWE-agent把shell输出和测试结果放回当前轨迹，能形成强执行反馈；公开机制却没有跨任务持久belief、技能库或权重更新，因此它是“研发行动→真实验证”组件，而不是完整持续学习系统。反过来，Voyager把成功代码技能写入库，并在新任务中检索这些技能进入程序生成prompt，明确改变了下一轮提案分布，因而满足局部递归消费判据。[7][14]

1.2 更新对象必须分层

“系统变得更好”可能指完全不同的对象：

这些层可以组合，但不能相互替代。把一次成功轨迹加入prompt，不等于把技能写入模型权重；把权重更新了，也不等于保留了事件来源和删除接口。尤其对长期任职式Agent，事件知识与制度知识需要可寻址、可版本化和可治理；直接写入权重会把“记住什么、为何相信、谁能修改、如何撤销”变成难以回答的问题。

1.3 两个目标要分开：长期掌握环境与参与下一代模型研发

“像长期员工”至少包括：

• 识别项目、人员、代码、数据与制度的当前状态；
• 在新证据到来时更新旧知识，而不是只追加冲突版本；
• 知道信息来源、权限和有效期；
• 把过去经验迁移到新任务；
• 对错误记忆进行降权、修订或删除；
• 在环境变化后重新校准，而不是固守历史捷径。

“参与下一代模型研发”则要求另一条链：提出研究行动→执行真实实验或代码变更→由可验证结果筛选→保留可复用经验或产物→影响后继Agent、训练数据、架构或权重→通过独立回归门决定是否晋级。一个系统可以擅长前者而没有权限触碰模型版本，也可以擅长自动搜索而没有长期组织记忆。本文将二者视为需要耦合的能力，而不是同义词。

2. 四种学习动力学

2.1 评估器门控的参数或策略更新

这一骨架的基本信息流是：

候选 x_t ~ p_{θ_t} → 评估 y_t=V(x_t,e_t) → 构造数据 D_{t+1} → 更新 θ_{t+1} → 新分布 p_{θ_{t+1}}。

关键不在于是否用了RL、DPO或监督微调，而在于评估器决定什么可以进入下一代。

STaR让当前模型生成rationale和答案，只保留最终答案正确的样本，再微调后继模型。算术实验明确运行16轮，因此它是多代数据递归的强实例；但答案oracle不验证rationale是否忠实，不能从正确答案推出模型学到了真实推理。[1]

Self-Rewarding Language Models让模型同时生成回答和评分，用评分构造偏好对，再做迭代DPO。它清楚展示了自评—更新回路，却也把policy和judge的偏差耦合起来。论文有外部benchmark和人类偏好评测，但M1→M2→M3只形成两条自反馈更新边，且没有长期分布漂移或外部独立复现；它适合说明机制，不足以证明开放环境中的持续能力增长。[2]

ROME通过rank-one权重更新写入局部事实，展示参数可以被定向修改；SERAC则把编辑记录存入可寻址外部库，由scope classifier路由请求。二者的对照说明：参数写入便于直接改变token分布，却难以保留来源和回滚；外存编辑更容易寻址和删除，但路由、冲突与OOD scope成为新风险。[8][9]

这一路线最危险的耦合是评估器与产物共同演化。如果评估器监督来自上一代产物，∂φ_{t+1}/∂A_{t+1}不再为零；即使评估器固定，policy也可能把输入推向其未校准区域。Constitutional AI的preference model在RL阶段固定，因此更准确的风险是policy-induced distribution shift，而非评估器参数漂移。论文观察到过训后过度严厉和模板化表达，这是局部proxy过度优化证据，却不能外推为所有RLAIF系统必然Goodhart。[3]

2.2 可选择的产物库改变后续提案

基本信息流是：

生成产物 a_t → 真实或代理评估 v_t → 选择/压缩/编辑进入库 A_{t+1} → 检索或选择 A_{t+1} → 改变下一轮提案。

这类系统常比直接改权重更适合早期研发，因为产物可检查、可版本化、可单独删除。

Voyager在Minecraft中让critic判断代码技能是否成功；通过的技能进入不断增长的技能库，新任务按描述和环境检索top-k技能进入程序prompt。它证明可执行技能能跨同域任务被消费，但critic不是完备oracle，实验也不能证明跨领域迁移。[7]

ExpeL把成败轨迹归纳为insight，通过ADD、EDIT、UP、DOWN等操作修订经验，并在新任务中检索insight和成功案例。其优势是知识可见且可修订；限制是经验正确性仍依赖LLM裁定，来源、冲突和过期规则未得到充分治理。[6]

DreamCoder把经I/O约束验证的程序压缩为typed primitive，更新程序库、program prior和recognition model。库改变枚举顺序和搜索深度，fantasy数据又更新识别模型，因此它横跨产物库与prior学习。论文报告20个wake/sleep周期、固定同域held-out任务曲线和五次内部运行，是本次调查中较完整的多代正向证据之一；但跨领域统一程序库、长期冲突和回滚仍未验证。[4]

DGM把Agent代码、分数和谱系保存在archive中，选择父代、自修改代码、运行coding benchmark，再把合格后代写回archive。它报告80轮并提供清楚的代码谱系；然而主优化曲线反复使用开发benchmark，因而“代码递归发生了”与“通用能力持续提升”必须拆开。完全未访问benchmark上的迁移提供了额外信号，但不足以证明广泛、长期、独立复现的通用改进。[5]

产物库路线的核心问题不是“是否能积累”，而是积累的选择压力是否对准真实价值。错误程序、错误经验和benchmark捷径一旦进入库，会改变后续搜索先验；库越成功地复用，错误也可能传播得越快。

2.3 belief、prior与世界模型进入决策

这一路线的共同点不是都能“生成未来”，而是累计状态更新后被预测、规划或价值计算实际消费：

b_{t+1}=U_b(b_t,e_t)，p_{t+1}(z或a)=Plan/Predict(·|b_{t+1})。

层级贝叶斯learning-to-learn给出最干净的跨任务概率语义。Baxter把过去任务形成的hyperposterior积分成下一任务prior；Grant等对MAML的解释则把多任务边际似然学习出的共享点参数视为新任务prior/初始化。前者传递完整分布，后者主要传递empirical-Bayes点估计；它们都不等于同一任务内support→query适配，也不自动具备来源、删除或组织治理。[10][11]

Dreamer从真实replay更新RSSM，在latent imagination中训练actor和value；新policy又改变真实环境访问分布。world model因此在训练期被因果消费，但控制回报只能证明其对指定策略学习有用，不能证明latent忠实表达全部环境状态。[12]

MuZero学习latent dynamics、reward、policy和value，并让MCTS消费它们；搜索visit distribution再成为训练target。它有意不重建完整观察，因此更准确的术语是“value-equivalent或control-oriented dynamics”。把其成功写成“模型忠实理解世界”会混淆控制充分与观察预测。[13]

对代码库研发而言，普通检索索引、依赖图和执行反馈分别只覆盖其中一部分。一个能支持长期规划的代码库世界模型，至少需要：

1. 维护与commit、branch、issue和实验版本绑定的任务状态；
2. 对未执行动作的后果作预测，而不只是找相似文本；
3. 让后果预测被planning或value实际消费；
4. 用真实编译、测试、性能和用户反馈的残差持续校正；
5. 跨任务持久维护belief，同时允许环境变更后的修订；
6. 分开测状态估计、转移、反事实、校准和决策增益。

Repoformer式代码检索、SWE-agent式执行反馈或CodePlan式依赖规划都可能是必要组件，却不能仅凭“理解仓库”的宣传语升级为世界模型。公开证据尚未确认一个系统在跨issue/commit长期运行中同时满足上述条件。

2.4 群体、课程与对手分布共同演化

群体式更新的状态是P_t={p_t^i}而非固定个体。个体fitness决定复制和变异，任务或对手分布Q_t也可能随群体变化：

f_t^i=V(p_t^i,Q_t)；

P_{t+1}=SelectMutateTrain(P_t,f_t)；

Q_{t+1}=Curriculum(P_t,Q_t,e_t)。

PBT异步训练一组worker；表现较差者复制较好worker的checkpoint和超参数，再扰动超参数并继续训练。这里同时发生个体权重学习、群体选择和超参数变异。worker更像可被覆盖的计算槽位，population best上升不意味着某个固定身份持续成长。论文也不强制所有任务都把selection fitness与最终test隔离；共享祖先的成员不能冒充独立seed。[15]

这一机制与“长期员工”隐喻存在根本张力：组织可能变强，但个体被替换。若产品目标是积累某个Agent的上下文和责任，就必须报告single lineage；若目标是研发组织吞吐，population best更有意义。两者不能用一个曲线代替。

2.5 为什么AlphaGo Zero式self-play是特殊成功，而非通用模板

AlphaGo Zero的网络输出policy prior与value；MCTS在精确规则环境中得到改进策略π，自博弈产生终局z，再以(s,π,z)训练后继网络。候选checkpoint与当前best下400局，胜率超过55%才晋级并生成下一批self-play数据。AlphaZero后来取消这一旧新模型门，改为持续更新网络，因此两者不能混写。[16][17]

self-play在棋类中拥有罕见的闭合信号：合法动作与状态转移由规则精确给出，终局明确，双方零和且角色对称，同一策略可以扮演双方。开放研发缺少这些条件：编译和测试只能验证局部性质，新颖性、安全性和长期价值没有唯一终局分数；环境昂贵、延迟、部分可观测且会变化。可以迁移的是搜索、真实执行、旧基线和对照评测，而不是“让模型和自己交互就会产生可靠研发能力”。

3. 四个骨架如何耦合

静态分类有助于导航，却不足以描述递归动力学。令θ_t为模型参数，A_t为数据/记忆/程序库，φ_t为评估器，b_t为belief/world model，P_t,Q_t为群体和任务分布，g_t为治理状态。一个更完整的递推是：

A_{t+1}=C(A_t,G_{θ_t}(A_t,b_t,Q_t),V_{φ_t,g_t}(e_t))

φ_{t+1}=U_φ(φ_t,A_{t+1},human_t,oracle_t)

b_{t+1}=U_b(b_t,e_t;θ_t,A_t)

(P_{t+1},Q_{t+1})=U_pop(P_t,Q_t,V_{φ_t,g_t},b_t)

θ_{t+1}=argmin L(θ;A_{t+1},b_{t+1},P_{t+1},Q_{t+1},g_t)。

3.1 评估器—产物共演化

当产物被评估器筛选，筛选结果又训练后继模型时，系统存在最短的Goodhart通道。如果评估器本身再由上一代产物训练，量尺也会漂移；即使评估器固定，policy仍可能把输入推向其未校准区域。

Weak-to-Strong实验让弱模型用ground truth训练后，为held-out样本生成soft labels，再监督强模型。Figure 7–8显示大能力差距时ground-truth accuracy可能先升后降，学生会模仿弱监督者部分错误。主实验只有一条supervisor→student更新边；chess bootstrapping才达到三条替换边，并且chess改善不能外推到NLP或开放研发。[18]

工程上应把三种角色分离：提案模型、开发期评估器和受保护终评。能够执行的代码、数学或定理oracle优先于自由文本同源judge；使用同源judge时，应以人评、隐藏test或不同方法族的评估作锚，并限制反馈精度，防止系统针对测试细节适应。

3.2 世界模型与群体更新的时间尺度错配

可以用两个步长表示：b_{t+1}=b_t+α_tΔ_b，(P,Q)_{t+1}=(P,Q)_t+β_tΔ_pop。若群体或policy变化远快于world model校正，访问分布会快速进入模型OOD区域；策略还会主动寻找有利误差。World Models中，controller在不完美梦境里学会利用模型缺陷，是这一风险的直接局部实例。[19]

反过来，若world model频繁追逐短期population数据，它可能抹掉跨任务稳定结构。公开工作分别证明world model进入控制、群体选择改变谱系，却没有充分证明二者在开放研发环境中的耦合长期稳定。因此这里是跨文献归纳，不是某一论文已经完成的系统事实。

3.3 治理何时外置，何时进入学习目标

谱系记录和测试契约可以近似外置：ML Metadata（MLMD）记录Artifact、Execution和Event关系；SWE-bench把issue、base commit、patch与测试绑定。它们提高可追溯性，却不自行定义梯度。[14][20]

治理也可以直接进入动力学：constitution和过滤决定训练数据，奖励和KL惩罚改变损失几何，promotion gate决定哪个模型成为下一批数据生成器。ease.ml/ci研究统计测试、反馈模式与测试集更新，说明版本门不仅给pass/fail，还会通过反馈预算改变后续适应空间。[21]

因此，“治理平面与学习正交”只是一种有条件的静态近似。最终架构必须逐项说明治理约束进入数据、损失、工具权限还是版本选择。

4. 长期环境知识：记忆、技能与权重如何分工

4.1 参数外记忆是事件知识的默认位置

Generative Agents把观察写入memory stream，并按recency、importance和relevance检索，reflection又把高层归纳写回；MemGPT把上下文视为虚拟内存，在token压力下flush、摘要并分页检索。这些工作证明写—读回路能改变后续行动或推理，但短仿真和有限跨会话评测并未验证长期冲突、选择性遗忘和权限治理。[22][23]

LongMemEval、LoCoMo等benchmark提高了跨会话、latest-state、时间推理和干扰评测的难度；它们主要测固定历史上的定位与回答，不等于系统学会了可靠写入策略。完整持续学习还应分别测试：

• 新事实覆盖旧事实时能否保留时间与来源；
• 冲突证据如何仲裁；
• 过期知识是否降权或删除；
• 错误记忆是否因反复检索被巩固；
• 经验能否跨任务迁移，而不是复述；
• 权限、隐私和组织边界是否随版本变化。[24][25]

4.2 技能库不等于外部记忆，参数技能也不等于可治理知识

经典Options、DIAYN和successor features/GPI提供可复用策略或价值结构，但通常把技能保存在策略/价值参数中。只有技能作为独立记录可寻址、版本化、测试和撤销时，才属于治理意义上的外部技能库。[26][27][28]

推荐的分工是：

• 事件和制度：外存，带来源、时间、权限、置信度、替代关系和删除接口；
• 可执行技能：程序/工作流库，绑定依赖、测试、适用域和失败记录；
• 稳定统计规律：world model或检索索引，但要持续用真实残差校正；
• 高频、跨场景且已验证的能力：再巩固到权重；
• 晋级证据：独立评测与谱系系统，不写进模型自述。

4.3 组织状态也是长期能力的一部分

MOISE+已经显式表示角色、mission、权限、组织历史和版本重组，说明“经典系统没有组织记忆”是不成立的。现代研发缺口不是组织状态本身，而是它与代码/数据谱系、独立回归、训练准入和模型回滚的端到端组合。[29]

长期员工式Agent需要双重身份：一方面是学习者，另一方面是受组织约束的执行者。它必须知道自己能读什么、能改什么、哪些结果需要人类批准、何时必须升级风险，而不能把“自主性”理解为取消权限边界。

4.4 代表系统机制卡：从训练信号到下一轮消费

以下方法卡不是重复列论文，而是统一回答五个问题：状态在哪里、什么信号允许写入、如何训练或更新、推理时如何被消费、公开证据能支持到哪里。

STaR：答案oracle筛选数据，而非验证推理过程

STaR从带少量rationale示例的模型开始，对未标注问题采样rationale和答案。若最终答案正确，整条rationale被加入微调集；若答案错误，训练阶段可在给定正确答案条件下重新生成解释，再保留能导出正确答案的样本。后继模型从同一个预训练基座在累积数据上重新微调，而不是简单接续父代checkpoint。论文Algorithm 1给出这一外循环，Figure 2的算术实验展示多轮改进。[1]

其有效性来自两个偏置：精确答案oracle为生成数据提供低成本过滤；更新后的模型提高下一轮产生可接受rationale的概率。但过滤器只观察最终答案，不知道rationale是否忠实、是否包含不可泛化捷径。因而它证明的是“父代生成数据改变后继模型”，不是“模型验证并继承了正确推理机制”。在研发场景中，对应做法应把单元测试通过与设计理由正确分开，并保留失败输入和隐藏回归。

Self-Rewarding LMs：policy与judge共享模型带来的反馈闭环

该方法先用instruction-following数据训练M1；M1同时扮演回答者和LLM-as-a-Judge，为成对回答生成分数，构造偏好数据后以迭代DPO得到M2和M3。论文§3和Figure 1给出迭代流程，Table 1–2报告外部benchmark与人类偏好结果。[2]

DPO更新优化的是由当前judge产生的相对偏好，因此状态既存在于新偏好数据，也写入后继权重。优点是不需要每轮人工标注；风险是judge与policy共享表征和盲点，分数提升可能来自更会迎合同源评估。M1、M2、M3是三个快照，却只有两条parent→child自反馈边；公开实验没有长期漂移、隐藏动态任务或外部团队独立复现，不能称为已证明持续自我改进。

Constitutional AI：constitution改变数据与奖励，不只是外部政策

图1｜Bai等，Constitutional AI，Figure 1，来源：arXiv:2212.08073。上半部分先由Helpful RLHF模型响应红队提示，再依据constitution生成批评与修订，用修订样本监督微调SL-CAI；下半部分由SL-CAI生成回答对，constitution-guided AI feedback训练preference model，再由该模型提供RLAIF奖励。紫色箭头表示模型、样本和反馈的消费关系。图中constitution同时改变数据和奖励，因此不是与学习动力学无关的外部政策；但RL阶段preference model固定，不能把图解读成评估器参数持续共演化。

监督阶段先让模型生成可能有害的回答，再根据一条constitution原则批评并修订；多轮上下文修订产生一个最终回答，用来构造单次SL数据。RL阶段从成对回答和constitution-guided AI preference训练preference model，再用该模型提供奖励优化assistant。论文§2.1–2.2和Figure 1给出这两个阶段，§4.3讨论过度严厉与模板化表达。[3]

constitution不是旁路文档：它改变训练样本和偏好标签，因而进入学习动力学。与此同时，RL阶段preference model固定，所以准确风险不是“评估器参数每步漂移”，而是policy分布逐渐偏离评估器训练域。四次revision属于一次数据生成轨迹，不是四代模型。该工作支持“治理规则可以进入损失与数据”，但不证明规则在长期递归中自动保持正确或不会被代理优化。

ROME与SERAC：参数写入和外部编辑存储的机制对照

ROME先通过causal tracing定位事实关联的中层MLP，再求解一个rank-one更新，使特定subject表示映射到新object，同时尽量保持其他输入行为。论文§3及Equation 2–3说明更新构造，CounterFact实验测efficacy、paraphrase generalization和neighborhood specificity。[8]

SERAC不直接改主模型，而是把编辑样本存入memory；scope classifier判断新输入是否落在某次编辑范围内，若命中则由counterfactual model生成答案，否则调用原模型。论文Figure 1和§3描述路由结构。[9] ROME推理时无额外检索，却难保留来源、权限和精确撤销；SERAC更容易追踪和删除，却把问题转化为scope判断、冲突编辑和外存延迟。二者都主要评测静态编辑集，不能单独证明持续环境知识治理。

ExpeL与Reflexion：语言经验何时成为跨任务状态

Reflexion在一个任务的多次trial之间，把环境反馈和失败轨迹压缩成verbal reflection，下一trial将反思放入上下文。其状态是短期episodic memory，算法流程见论文Figure 1和Algorithm 1。[40] ExpeL进一步在训练任务集合上比较成功与失败轨迹，归纳为可编辑insight；ADD、EDIT、UP、DOWN等操作改变insight库，新任务检索insight和成功案例进入prompt。论文Figure 2–3描述采集、提炼和推理阶段。[6]

两者都不更新基础模型权重。Reflexion主要证明任务内trial间反馈消费；ExpeL更接近跨任务外部经验积累。风险是“反思看起来合理”被误当真实因果解释，且insight编辑由LLM判断，缺乏来源级冲突仲裁。工程化时，reflection应绑定触发它的测试、环境版本和失败反例，而不是只保存自然语言格言。

Voyager：技能必须成功执行后才进入可复用库

Voyager由自动课程、技能库和迭代prompting三部分组成。课程根据当前状态提出下一个任务；模型生成可执行JavaScript，环境反馈和critic决定是否继续修复；成功代码才写入技能库。新任务通过技能描述与环境检索相关技能，作为few-shot程序进入下一轮生成。论文Figure 2与§3.2–3.3展示信息流，Table 1和Figure 4–7报告Minecraft探索与技能复用。[7]

这里的累计状态是可执行代码，而非对行为的文字总结。它能被测试、组合和删除，因而比权重内latent skill更可治理。但成功判定依赖critic和游戏接口，库中技能绑定Minecraft API与版本；论文没有测跨域迁移、长期依赖失效和恶意技能污染。最可迁移的设计是“执行成功后写入、带测试检索”，不是开放世界性能数字。

DreamCoder：库学习、搜索先验与识别模型组成双重递归

DreamCoder在wake阶段用当前DSL与recognition model搜索满足I/O约束的程序；abstraction阶段从解出的程序中提炼可复用片段，扩展typed library并重新编码程序；dream阶段从库先验生成fantasy problems和programs，训练recognition model预测搜索分布。论文Figure 1、Algorithm 1和§2–3描述EC²循环，Figure 7–8展示跨20个迭代的同域held-out表现。[4]

状态至少有三部分：程序库L、程序先验P和识别模型Q。新库减少描述长度、改变枚举空间；fantasy数据又让识别模型把搜索预算集中到可能程序。I/O约束是较闭合的oracle，所以它比开放文本自评更能支持局部多代改进。限制是任务域由手工类型和primitive约束，跨域library冲突、错误抽象回滚和持续环境变化没有得到验证。

DGM与ADAS：优化Agent代码不等于证明通用Agent进步

DGM把coding agent代码作为可修改对象。父代从archive选择，模型提出代码变更，候选在benchmark上执行；分数和谱系决定是否进入archive，archive而非单一best支持开放式探索。论文Figure 2、Algorithm 1和Figure 4–6给出80轮演化及谱系结果。[5]

ADAS的Meta Agent Search让meta agent在基础组件和过往候选基础上生成新Agent代码，再用任务分数选择；论文Figure 1和Algorithm 1展示“Agent设计→评测→archive→下一设计”循环。[45] 两者都明确让累计Agent产物改变下一轮提案，但开发benchmark同时承担fitness时，搜索会适应该题集。跨benchmark迁移是更强信号，仍不等于跨组织、跨年份的通用改进。报告必须分开“代码谱系递归存在”与“开放环境能力持续上升”。

FunSearch、Eureka与AlphaEvolve：强oracle让搜索闭环可靠，但范围受限

FunSearch让LLM产生程序变体，由可执行evaluator给分；高分程序按特征聚类保存在island数据库中，作为下一轮prompt示例。论文Figure 1与Methods说明生成—评估—选择—再生成，数学结果由问题oracle检查。[43]

Eureka让LLM编写奖励代码，在仿真中训练策略并用环境指标评估；reward reflection把训练统计和代码反馈给下一轮奖励生成。论文Figure 2和Algorithm 1给出循环。[42] AlphaEvolve官方披露同样组合模型生成、自动评估、程序数据库和演化选择，并用于算法设计；但公开博客不足以还原所有模型、选择压力和评测协议，只能按官方披露讨论。[54]

三者说明：当候选是可执行程序、目标有便宜且低歧义oracle时，模型能显著扩大搜索吞吐。它们不能解决“什么研究值得做”“安全与新颖性如何标量化”等开放价值问题；oracle定义错了，搜索越强越快优化错误目标。

Dreamer、MuZero与World Models：三种不同的模型消费语义

Dreamer用encoder和RSSM从replay学习latent transition、reward与observation模型；actor和value在imagined latent trajectories中训练，再回到真实环境收集数据。论文Figure 1与Algorithm 1区分world-model learning、behavior learning和environment interaction。[12]

MuZero的representation、dynamics与prediction网络预测reward、policy和value，不重建observation；MCTS把网络预测转换成visit-count policy，训练又拟合搜索policy、真实return和reward。论文Figure 1、Equation 1和Methods给出unroll损失与search。[13]

World Models先训练VAE与MDN-RNN，再让controller在梦境中优化。论文§4.4观察controller利用不完美世界模型，直接展示优化器如何寻找模型漏洞。[19] 三者共同证明“模型预测被决策消费”，却分别追求观察生成、latent imagination和控制等价；不能把所有latent dynamics都称为忠实世界状态。

PBT与AlphaGo Zero：群体选择和checkpoint晋级门的差异

PBT让多个worker持续梯度训练，并周期性比较表现。落后worker通过exploit复制领先checkpoint和超参数，再通过explore扰动超参数。论文Algorithm 1、Figure 1和§3展示异步机制。[15] 选择发生在群体，固定worker身份会被覆盖；最终应同时报告lineage、population best和冻结test。

AlphaGo Zero则由单个候选网络通过MCTS生成self-play数据，训练新checkpoint后与best进行400局对局，超过55%才替换best并主导下一批数据。Nature论文Methods“Self-play reinforcement learning”与Figure 1–3给出循环。[16] PBT选择多个并行训练谱系，AlphaGo Zero门控单一数据生成器；二者都不是“同一个Agent像员工一样持续任职”。AlphaZero取消旧新门，更说明版本选择策略本身会改变递归动力学。[17]

Generative Agents、MemGPT与长期记忆benchmark：行为展示和写入学习必须分开

Generative Agents把观察保存为带时间戳的memory stream，按recency、importance、relevance综合检索；累计importance触发reflection，planning把反思与记忆转成未来行动。论文Figure 2、§4和Appendix A描述检索与反思。[22] MemGPT把上下文分成main context与external context，通过函数调用在token压力下分页、搜索和写回，论文Figure 1–2给出层级内存结构。[23]

这些系统证明外存能影响后续生成。LongMemEval和LoCoMo进一步测试跨会话信息、时间关系与长对话检索。[24][25] 但benchmark主要提供预构造历史，测的是“给定历史能否答对”，不是“Agent能否决定何时写、如何冲突仲裁、何时删除”。评价长期员工式记忆，必须把读出质量和写入政策分开。

Options、DIAYN与successor features：可复用行为不自动成为可治理技能

Options框架把技能定义为启动集合、内部policy和终止条件，可在semi-MDP上进行高层决策；经典论文§2–3给出形式化定义。[26] DIAYN用最大化技能变量与状态互信息、同时提高动作熵的目标，在无外部奖励下学习多样行为；Equation 1–3和Algorithm 1描述discriminator奖励。[27] Successor features把价值分解为环境动态相关的successor representation与任务reward权重，GPI在多个已学policy中选择；Theorem 1给出迁移保证。[28]

这些机制把技能或可迁移结构保存在策略/价值参数中，通常没有独立技能记录、来源、版本和删除接口。它们是“可复用控制能力”的重要先例，却不是外部组织记忆。若用于长期研发，应增加可寻址manifest、依赖测试和适用域，而不能只因latent skill可复用就称其具有长期记忆。

MOISE+、MLMD、SWE-bench与ease.ml/ci：治理组件不等于完整治理闭环

MOISE+把结构、功能与规范规格分开：角色与群组定义组织结构，goal/mission定义功能，deontic关系规定角色对mission的permission或obligation；组织实体在运行时记录成员与任务状态。[29] MLMD用Artifact、Execution、Context及Event边记录数据、代码和模型谱系。[53] SWE-bench以真实issue、base commit、gold patch和tests构造任务契约。[20] ease.ml/ci则研究ML版本持续集成中的统计测试、反馈模式与测试集更新。[21]

四者分别提供组织规范、谱系、任务契约和版本门，但没有一个单独产生模型学习。真正的端到端系统需要把它们连接到训练数据准入、模型晋级、权限和回滚。治理状态若决定constitution、reward或promotion，就进入动力学；若只记录事实，则近似为控制平面。区分二者可避免把“有MLOps”误报为“有递归改进”。

5. 失败不是边角问题，而是闭环的主要动力学

5.1 二十一种失败可归入六条通路

数据与监督退化

1. 合成数据比例上升导致真实分布支持集收缩；
2. 稀有事件和尾部模式先被擦除；
3. 同源judge的系统偏差被写入偏好数据；
4. 错误rationale通过答案过滤，却被后继模型学习；
5. 真实数据只在早期出现，后代无法恢复丢失模态。

Model Collapse研究在OPT generation 0–9、VAE多代等设置中，用固定原始test展示跨代退化，并比较保留真实数据的条件。这是强负向多代证据，却只支持受控递归合成场景，不能推出所有现实训练必然坍塌。[30]

图2｜Shumailov等，The Curse of Recursion / Model Collapse，Figure 2，来源：arXiv:2305.17493。同一输入下，Gen 0尚能保持建筑主题，Gen 1开始事实与对象漂移，Gen 7明显脱离原主题，Gen 9出现高度重复和乱码式模式。每代在前代生成数据上训练使低概率事件和语义结构逐步丢失。该图是受控OPT-125m递归生成的直接例子，不应被外推为所有包含真实数据、检索或人工修复的训练管线都会以相同方式坍塌。

评估器与benchmark适应

1. 评估器与被评模型同源，盲点相关；
2. fitness benchmark同时用于报告，搜索直接适应题集；
3. 反馈过细，使系统反推出隐藏测试；
4. 评估器随代漂移，分数不可比；
5. 代理指标上升，真实效用下降。

Ladder说明反复查看自适应测试结果会耗损隐藏集的统计保障；DGM、ADAS和PBT则提醒开发fitness、模型选择和终评必须分开。[31]

记忆与技能污染

1. 错误经验被高频检索而自我强化；
2. 新旧事实冲突但系统只追加不仲裁；
3. 技能依赖环境版本变化而失效；
4. 库无限增长造成检索和选择噪声；
5. 无来源和删除接口导致污染不可治理。

世界模型与控制耦合

1. policy主动寻找有利模型误差；
2. world model滞后于policy访问分布；
3. 只对value充分的表示被误当完整环境状态；
4. ensemble共同偏差被误当低不确定性；
5. 长rollout累积误差，短rollout把负担转移给terminal value。

群体与组织误读

1. population best上升掩盖固定lineage退化、共享祖先和课程变化。

灾难性遗忘研究进一步显示，新任务学习会破坏旧任务能力；EWC用参数重要性约束缓解稳定性—可塑性冲突，但不解决错误知识被保护、环境漂移或组织版本门。[32]

5.2 单步增益不能替代跨代稳定性

迭代深度应按parent→child更新边计，而不是快照名、gradient steps、MCTS simulations或上下文内revision次数。

本次严格筛查中，没有工作同时满足“至少三代、外部独立复现、held-out分布漂移”。这是当前公开证据最值得重视的空格之一。

6. 结构类比：只能解释风险，不能替代现代证据

经典理论应与现代Agent证据物理分开。它们帮助提出要测什么，不负责证明某个Agent已经稳定或必然失败。

6.1 Price equation：选择收益能否抵消传递损失

Price恒等式把代际平均变化拆成选择项与传递项：

w̄ Δz̄ = Cov(w,z) + E[wΔz]。

即使高质量候选更容易被复制，只要生成、再训练或变异造成的负传递偏差更大，平均质量仍下降。映射到Agent时必须保证质量量尺跨代可比、父子贡献可辨识、多目标没有被错误压成单一分数。若内部fitness的选择项持续为正而固定外部oracle质量下降，就说明内部量尺没有解释真实目标。[33]

6.2 Quasispecies：选择优势乘以忠实传递率

类型频率在selection–mutation核下更新，长期分布由QA的主特征结构决定。它提醒我们：选择优势本身不够，优质模态还必须被忠实传递。现代系统若类型空间开放、表示每代重参数化、评估器与生成核共同变化，或者每代大量注入真实数据，这个固定核近似就会失效。[34]

6.3 Muller's ratchet：有限有效群体中的尾部丢失

有限、无重组、无回突变和无外源迁入的群体中，最佳类别可能因抽样随机消失，并且无法恢复。对数据和Agent population，有意义的是去除共同祖先和相关采样后的有效群体规模，不是名义token或worker数。archive恢复、检索、真实数据、模型合并和人工修复都相当于迁入、回突变或重组，会破坏严格不可逆性。[35]

三种类比只有在变量可观测、能解释现代直接证据中的失败通道、且存在会使映射失效的可观察结果时，才值得进入正文。它们不能把N=1–2的实验升级为长程稳定性证明。

7. 六类核心机制的训练、推理与工程代价

7.1 自生成数据与偏好更新：监督从哪里来

自生成路线的样本并不是凭空产生的训练信号。至少需要拆成四步：模型在当前分布下提出候选；外部oracle或模型评估器赋予标签；选择器改变保留分布；优化器再拟合这一经过选择的数据。STaR使用最终答案相等作为二值oracle，Self-Rewarding使用同源模型的标量评分，Constitutional AI使用原则条件下的成对偏好。三者的“自我”含义不同：STaR自生成但不自定义答案真值，Self-Rewarding同时自生成和自评分，CAI由外部写定constitution约束AI反馈。[1][2][3]

数据构造决定了后继模型学到什么。只保留成功样本会隐藏失败分布；成对偏好把复杂质量压成相对排序；答案过滤允许不忠实解释随正确结果通过。训练目标无论是交叉熵、DPO还是策略梯度，都只能放大被构造数据中的信号，不能修复未被评估器观察的维度。

推理阶段通常看不到评估器：更新被摊销到权重，调用成本低，但错误来源也被压进参数。工程成本主要来自候选采样、评分和重新训练；评估器若昂贵，数据生成吞吐成为瓶颈。可靠部署应保留：未经筛选的候选、筛选理由、oracle版本、训练样本到checkpoint的谱系和固定终评。否则性能变化无法区分模型学习、样本选择变化和量尺漂移。

7.2 外部记忆：写入政策比向量检索更难

记忆系统的核心不是embedding数据库，而是写入状态机。一次事件应先区分事实、推断、决策、技能和临时工作记忆；再记录来源、时间、项目/版本、权限和置信度；随后判断它是新增、补充、冲突、替代还是撤销旧记录。只做“摘要→向量化→top-k”会把互相矛盾的内容平铺在一起，并让高频检索变成隐式信任。

检索阶段需要把任务契约、当前版本和权限作为条件，而不能只按语义相似度。生成答案后还应保留引用了哪些记录；真实执行若反驳记忆，需要触发降权、修订或删除。Generative Agents的recency/importance/relevance和MemGPT的分页提供了访问机制，ExpeL的UP/DOWN/EDIT提供了初步修订操作，但都没有完整覆盖组织级来源、法务删除和跨版本依赖。[6][22][23]

工程成本通常不是模型训练，而是schema迁移、索引重建、权限检查、冲突解决和人工审计。随着历史增长，检索召回、误召回和token预算互相制约。评测必须把“读出正确”与“写入正确”分开：固定历史benchmark只覆盖前者；后者需要让Agent自主经历事件，并检查写入、更新、删除及后续行为。

7.3 技能与程序库：验证器、类型和依赖共同定义可复用性

技能库写入一个程序，不代表它已成为稳定能力。可复用记录至少应包含输入/输出类型、前置条件、环境与依赖版本、权限需求、测试、性能范围、失败反例和替代关系。Voyager依赖Minecraft接口与critic，DreamCoder依赖typed DSL和I/O约束；类型与oracle缩小了搜索空间，也限定了迁移范围。[4][7]

训练或搜索时，库既是候选空间又是先验。复用primitive会缩短程序描述；检索成功代码会改变LLM的提案分布；高分程序进入island数据库会改变父代选择。推理时则可能直接执行技能，或把技能作为子程序组合。两种消费方式风险不同：直接执行有真实副作用；作为示例可能产生模仿偏差。

库规模扩大后，需要去重、语义版本、依赖解析和覆盖率管理。只保留成功技能会造成生存者偏差；删除看似低频技能可能损伤稀有场景。适合的版本门不是一个平均分，而是测试矩阵：正常输入、边界输入、环境版本、资源成本、安全权限和组合兼容性。程序库路线在测试oracle强时最成熟，在开放研究想法和人类价值判断上最弱。

7.4 权重巩固与模型编辑：可塑性、稳定性和来源不可见

把经验写入权重有三种典型方式：以新数据继续训练，针对局部事实做model editing，或以正则化限制旧能力变化。继续训练能广泛改变分布，却容易遗忘；ROME式局部编辑追求specificity，却在大量、相互作用的编辑下可能累积副作用；EWC保护被估计为重要的参数，却可能同时保护错误知识。[8][32]

权重更新的训练成本最高，也最难撤销单一来源。一旦多个样本共同影响参数，精确回答“哪条经验导致这个输出”通常不可行。因此适合巩固的不是刚发生的事件，而是经过多任务、多时间窗口和独立评测反复确认的规律。更新批次应包含旧能力replay、反例、冲突项和删除请求，而不是只把成功轨迹追加到训练集。

推理优势是无需外部检索，延迟低且可产生组合泛化。代价是校验和回滚只能以checkpoint为粒度，且权重中的知识无法自然携带访问权限。生产系统应把来源保留在外部训练清单和谱系里；参数不是审计数据库。

7.5 世界模型与belief：预测对象决定错误责任

世界模型至少有三种训练目标。观察预测模型拟合下一观察或重建，错误表现为视觉/符号不一致；control-oriented latent拟合reward、value或policy足够的状态，错误表现为错误动作排序；Bayesian belief更新观测似然与先验，错误表现为后验失准。它们不能用同一“预测准确率”比较。[10][12][13][19]

训练数据由policy访问分布产生，因此world model不是静态监督学习器。新policy改变数据，数据再改变模型。推理可以是单步MPC、多步latent imagination、MCTS搜索或只在训练期生成actor梯度。长rollout增加动力学复合误差；短rollout依赖terminal value；搜索会主动放大有利模型误差。

代码库场景还存在昂贵、非平稳和部分可观察问题：依赖安装、并发、外部服务和用户行为都可能改变转移。可用系统应对每次预测保存动作、版本、预测分布、真实结果和残差，并报告校准；只输出一个“预计测试通过”文本不足以构成可审计belief。模型调用、候选rollout、真实执行和状态同步构成主要成本，必须按每个真实决策前的调用次数报告。

7.6 群体演化与版本门：优化谁、保留谁、测量谁

群体系统至少有三条时间线：每个个体内部梯度学习、群体层复制/变异、任务或对手分布变化。若把它们合成一条best-score曲线，无法知道提升来自同一lineage学习、优质个体替换，还是课程变容易。PBT的worker会被checkpoint覆盖；DGM archive允许多个代码谱系并存；AlphaGo Zero的55%门则让一个候选成为下一轮数据生成器。[5][15][16]

训练成本由population size、每个候选的环境交互以及评估对局/测试共同决定。相关祖先降低有效多样性，因此八个共享基座的候选不等于八个独立实验。群体探索还需要维持novelty与quality的张力：只选最高fitness会过早收敛，只追求新颖会失去任务价值。

终评应冻结候选后，在未参与fitness的任务上运行；同时报告固定lineage、population best、archive覆盖和失败谱系。promotion还必须受权限、安全、成本和旧能力回归约束。版本门一旦决定谁生成后续数据，就不是纯外部流程，而是递归方程的一部分。

8. Claim—证据—边界表

9. 工程成本与复现责任

9.1 不要只报训练FLOPs

递归研发系统的真实成本分散在：模型候选采样、工具执行、环境重置、评估器调用、人工复核、记忆索引、程序测试、population并行、checkpoint存储、谱系查询和失败恢复。程序搜索可能几乎不训练基础模型，却执行数万候选；world-model规划可能训练一次，但每个真实动作前运行大量rollout；记忆系统训练成本低，却长期支付检索与治理成本。

因此成本报告应至少包含：每个任务的模型调用和token、真实工具/仿真次数、评估器调用、人类分钟、候选保留率、checkpoint与artifact存储、回滚恢复时间。不同论文协议不统一时，只做机制性“低/中/高”判断，不伪造绝对排名。

9.2 可复现性不是代码仓库是否存在

复现一个递归循环需要冻结基础模型/API版本、prompt、候选预算、随机种子、执行环境、依赖、评估器、反馈粒度、数据划分和promotion规则。API模型滚动更新会让同一代码产生不同候选；benchmark contamination和外部工具变化也会改变结果。公开代码只证明部分实现可检查，不代表主结果已由独立团队按同一协议复现。

最小复现包应提供：版本锁、完整父子谱系、所有失败候选或其统计、开发/回归/终评划分、judge prompt、执行日志和成本。为了避免训练数据泄漏，隐藏终评不能向搜索过程提供逐题反馈；为了避免群体相关性误报，seed和lineage都要记录。

9.3 闭源披露如何使用

OpenAI Preparedness Framework、Anthropic RSP和DeepMind Frontier Safety Framework说明机构把自动化AI研发、能力阈值、部署保障或风险等级纳入治理。[36][37][38] 这些官方文件是重要的控制平面证据，却不披露内部学习状态、迭代深度、独立评测结果或回滚实现。它们不能与论文实验相加形成“系统已安全闭环”的分数。

同样，AlphaEvolve官方博客支持“生成—自动评估—程序数据库—演化选择”这一公开定位；未披露字段应保持未知，而不是用FunSearch或DGM的机制反推其内部实现。[54]

10. 端到端闭环的接口契约

把若干优秀组件连接起来并不会自动形成可靠系统。每条边都应有可检查的接口契约，尤其要避免自然语言摘要悄然充当跨模块真值。

10.1 任务契约

任务输入不仅是用户指令，还应包括仓库与数据版本、允许的工具和副作用、资源预算、验收测试、禁止接触的终评以及升级条件。执行中如果需求改变，应创建新版本而非覆盖旧任务。这样才能区分Agent错误、环境变化和验收规则变化。SWE-bench的base commit、issue和tests是最小实例，但真实研发还需加入权限、成本和风险。[20]

10.2 经验写入契约

任何准备跨任务保留的记录，应回答：它是事实、推断还是策略；证据来自哪个执行；适用于哪些版本；与哪些旧记录冲突；谁有读写权限；何时复核和过期。只有真实结果或授权人可以提升置信度，模型自述不能单独完成晋级。写入后应建立反向依赖：若来源实验被撤销，哪些insight、技能和训练样本必须失效。

10.3 技能晋级契约

候选技能首先进入隔离区，在固定环境、边界输入和权限审计中测试。通过后进入canary，只允许低风险任务调用；积累跨任务成功和失败记录后才成为默认技能。技能manifest需要声明输入输出、依赖、超时、副作用、替代版本和回滚方法。对不可幂等工具还要提供补偿动作，而不是假设重试安全。

10.4 训练数据准入契约

从Agent轨迹进入训练集至少经过：来源许可、隐私检查、去重、真实性验证、失败与反例保留、污染检测和适用域标注。不能只收集“最终成功”轨迹，否则模型看不到恢复过程和失败边界。由模型评分的数据需记录judge版本和prompt；来自隐藏测试的细粒度内容不得进入训练集。训练后应能从checkpoint追溯到数据快照，但不能假装能从单个参数精确追溯单条样本。

10.5 模型晋级与回滚契约

候选模型必须冻结后进入独立评测，分别测新能力、旧能力、安全、成本和分布变化。晋级结论包含效应大小和不确定性，而非只看单次平均分。上线先走canary，持续监测真实残差；回滚不仅恢复checkpoint，还要处理该版本产生的记忆、技能、合成数据和下游模型。没有下游影响图的“回滚按钮”只能恢复服务，不能撤销知识污染。

11. 三类评测协议

11.1 长期员工协议：环境知识是否真正积累

构造一个跨数周、多版本的项目流，而不是把所有历史预先塞给模型。Agent依次经历需求、代码变更、人员权限变化、错误文档、新证据和旧规则撤销。评测者控制事件真值，但不告诉Agent哪些信息未来重要。每个阶段测任务成功、来源引用、latest-state、冲突仲裁和越权；中间要求删除一类记录并检查直接回答与间接行为是否仍泄漏。

对照至少包括：无长期记忆、只追加检索、带版本但无冲突策略、完整治理记忆。固定总token和工具预算，避免“记忆系统更好”其实只是上下文更长。最新的新任务应组合多个旧经验而不是复述原问题，以测迁移而非检索。还需故意改变依赖或API，观察过期技能能否被识别。评测还应核对Agent能否解释某条记忆何时写入、被哪些后续决策使用，以及来源撤销后哪些结论同步失效；这种反向依赖测试可区分真正的知识治理与表面检索。

11.2 研发贡献协议：提案是否转化为真实可复现增益

给Agent一个未见代码库或模型子问题，允许提出假设、修改代码、运行实验和解释结果。开发集提供充分反馈；受保护回归集只返回粗粒度结果；终评在冻结候选后一次运行。评测不只看是否修复，还检查实验是否有对照、日志是否完整、结论是否超出数据、重复运行是否稳定以及成本。

对比单次Agent、带外部经验库、带代码库belief和允许离线技能巩固的版本。关键消融是移除累积状态或打乱来源，验证提升确实由跨任务状态消费带来。若只在当前轨迹内多试几次，不计为持续学习。

11.3 代际稳定协议：下一代是否在变化环境中保持改进

至少运行五条parent→child更新边，并提前冻结开发、受保护回归和最终漂移任务。每一代记录训练来源、评估器、候选数、single lineage和population。开发反馈可以反复查看，回归反馈受限，漂移任务在最后才揭示。除平均能力外，报告尾部能力、稀有类别、安全、校准和成本。

三组必要对照是：只用真实数据；真实与合成混合；递归合成为主。另加固定评估器与更新评估器对照，以区分模型提升和量尺变化。若使用群体，报告有效多样性和父子谱系；若使用world model，保存预测残差并测策略是否利用模型漏洞。最强证据还需要外部团队用独立实现或不同方法族复核，而不是同项目多seed。

12. 部署风险场景与响应

12.1 错误经验被反复检索

一次偶然失败被模型总结成“永远不要使用某工具”，随后每个任务都检索该规则，成功率继续下降。响应不是只调embedding，而是回溯来源、检查适用域、降低未复验推断的置信度，并让真实反例触发替代关系。应监测经验被引用次数与独立支持次数的差距。

12.2 测试集被搜索过程耗尽

Agent每天根据隐藏测试的逐题反馈改代码，数周后测试分数很高，真实用户效果未改善。应把反馈改为统计门或粗粒度类别，保留不可见终评，记录访问次数，并定期用新分布任务校验。测试更新本身要版本化，不能让失败样本无痕进入下一轮开发集。

12.3 世界模型诱导危险计划

代码库belief预测某重构不会影响下游服务，planner因此跳过昂贵集成测试。若模型对罕见依赖未校准，优化器会系统性选择“看起来便宜”的高风险动作。响应是让不确定性影响工具权限：高风险或OOD动作必须真实执行小规模probe或人工批准；低ensemble分歧不能作为正确性证书。

12.4 群体最优掩盖知识连续性丧失

population best持续上升，但每轮最佳来自不同lineage，没有Agent保留长期项目责任。若目标是组织吞吐，这可能可以接受；若声称“长期员工式成长”，则是指标错位。应并列展示固定lineage、交接成本、记忆迁移损失和population best，并测试替换后能否解释过去决策。

12.5 回滚模型却没有回滚下游污染

新模型生成了错误技能、合成训练数据和高置信记忆；发现问题后只恢复旧checkpoint，这些下游artifact仍被调用。响应需要完整谱系图和污点传播：隔离受影响artifact，重建索引，撤销训练数据准入，并重新评测其后代。回滚演练应成为发布前测试，而不是事故时临时设计。

12.6 自主权扩张快于验证能力

随着Agent表现改善，系统给它更多工具、训练权限和版本准入权，但评估器仍是同源模型，隐藏回归没有扩展。能力提高会放大错误提案的影响半径。权限升级应由独立证据触发，并遵循最小权限、分阶段canary和可撤销授权；“模型更聪明”不是放宽治理的充分理由。

13. 路线比较：能力、成本与成熟度

成熟度不能按“论文数量”判断。外部记忆和技能库容易快速部署，但长期写入治理证据弱；参数更新技术成熟，却不适合作为未经验证事件知识的默认存储；程序搜索在有可执行oracle的窄域表现强，开放研究价值判断仍困难；治理组件分别存在，但公开端到端集成不足。

13.1 先比较传递物与选择压力，再比较迭代深度

同一个“第N代”可能表示完全不同的系统事件：参数checkpoint、筛选数据、程序/技能库、Agent代码archive、world-model belief或population成员。选择压力也可能来自同源模型judge、固定benchmark、人类偏好、环境规则、population fitness或形式证明。只有这两个语义相同或可比时，轮数才有排序意义。

这张表还揭示两个此前容易隐藏的空格。第一，几乎没有工作处于“评估器本身跨代演化，同时由外部held-out压力持续校准”的象限；多数评估器要么固定，要么与生成器同源。第二，Agent代码或population搜索常用开发fitness决定繁殖，再在同一任务族报告最优值；必须把single lineage、population best和冻结终评分别报告。

13.2 引用数量不等于独立复现

本文将独立证据单位定义为“研究团队、数据集/环境族、评测协议”的组合。同一论文、项目页和官方代码只是同一研究的不同披露载体；同团队在同benchmark上的多张表也不是多次独立复现。按此口径复核14组代表机制后，本文不能对任何具体系统声称“已有外部独立复现”。多项异质工作只能支持“这种机制形态存在于不同场景”，不能相加为一个系统级能力结论。

风险最高的三类相关性是：DGM类搜索反复消费开发benchmark；Self-Rewarding类系统由同源模型产生并裁判数据；长期记忆benchmark通常在预构造历史上测试定位与回答，而非在线写入、冲突仲裁和删除。后文所有“多来源”表述均应理解为机制对照，除非明确说明团队、数据和协议均独立。

13.3 异质传统如何修正而非推翻四骨架

经典lifelong robot learning把多任务中的环境与机器人不变量压缩成task-independent inductive bias，以减少后继控制任务的真实实验。[63] 这要求把长期知识分成两类：事件事实、来源和可撤销规则优先外存；经跨任务反复验证的结构性不变量可以巩固到参数、表示或世界模型。它没有闭合下一代模型研发的artifact、版本门和训练准入链。

self-hosting compiler只证明生成器能再生产下一代生成器。CakeML把它升级为有语义保持定理的可信再生产，但仍没有搜索“更优child”的目标。[62] Thompson的Trusting Trust进一步说明，跨代状态可能藏在编译器二进制、构建seed和工具链语义中，而不只在源码；因此谱系必须覆盖生成工具和信任根。[65]

Gödel machine则提供理论上的极端对照：switch program可重写包括proof searcher在内的整个程序；在形式系统一致、效用可形式化且target theorem可证时，当前自改相对于继续等待是有条件的全局最优。[61] 它迫使本报告把评估器、公理与效用也纳入可传递状态，却不构成开放环境中多代持续自改的现实证据。AutoML-Zero从基本操作演化Setup/Predict/Learn程序，并用tournament、复制和变异更新population，说明DGM/FunSearch所属的程序搜索骨架并非LLM特有；LLM主要改变proposal operator和表示空间，而不是创造了第五种学习动力学。[64]

13.4 闭环闭合度：组件、局部闭环与跨代闭环不是一回事

为避免把“支持闭环的一项工具”写成“闭环本身”，本文用四级描述机制责任：单环节组件只承担提案、验证、记忆、谱系或治理之一；双环节耦合至少有一条可观察因果边；局部闭环在限定任务域中闭合提案/行动、验证、持久写入、后继消费四边中的至少三边；跨代闭环还要求parent→child传递被实际运行和测量。最高一级也不自动意味着安全、泛化或独立复现。

因此，“公开工作已闭合哪些完整链”的回答必须按任务域限定。DreamCoder、STaR、DGM等闭合各自的窄域跨代链；Voyager闭合技能写入—消费链；SWE-agent闭合行动—真实测试，却没有跨任务写入。本文没有找到一个公开系统同时闭合真实研发行动、独立验证、可治理经验保留、后继模型消费、隐藏终评和可审计回滚。

13.5 多时间尺度与承诺：先在可撤销层学习

同一种传递物也可能有完全不同的风险。本文额外用三个属性描述：时间尺度从上下文内、任务内、跨会话、训练代际到长期组织部署；承诺程度从丢弃上下文即可撤销、删除外存、回退程序库，到必须回滚checkpoint并清理下游派生物，再到修改proof searcher、公理或工具链信任根；表征开放性则从固定槽位和latent，扩展到可增长技能库、通用程序搜索和系统自身规则可重写。

三次关键承诺跃迁是：

1. 上下文→外存：反思成为跨任务事实，新增来源、冲突、权限和删除责任；
2. 外存/程序库→权重或incumbent：复用延迟下降，但单条经验难以删除，错误会污染派生数据和后继版本；
3. 模型/程序→评估器、公理与工具链：系统可以改变未来的裁判与生成器，只有预置的信任根、证明/测试边界和恢复通道才能约束承诺。

由此得到一条工程规则：事件先写带来源且可删的外存；程序先进入隔离技能库；只有经过时间漂移、独立回归和来源审计的结构性规律，才晋级到权重或生产incumbent。最高风险组合是长期/代际更新、高承诺、开放程序或规则空间、同源judge且没有冻结外部终评。

13.6 内生Goodhart不同于外部评测污染

开发benchmark被反复查看时，即使评估器参数完全固定，搜索也会适应量尺；DGM反复用SWE-bench fitness属于这种外部污染。内生Goodhart更强：生成器产生数据或任务，这些产物又更新judge/评估器，使量尺和被测对象共同漂移。Self-Rewarding的judge角色随模型代变化，是高相关的短链例子；但现有两条更新边不足以证明长程评估器失稳。Constitutional AI的preference model在RL期间固定，其风险是policy进入代理未校准区域，而不是评估器参数共演化。[2][3][5]

Gödel machine提供的是形式对照：proof searcher可以被改写，但采用仍须由当前公理和效用下的target theorem证明有益。[61] 这说明“裁判可修改”并不必然意味着无约束；同时也暴露规范错配、不可证性、形式环境错误和现实信任根仍未解决。现代公开系统尚未同时证明：评估器跨代演化、外部held-out持续校准、多代现实收益以及可靠回滚。

13.7 不再问“属于哪一类”，而是逐边核对证据

前述四种动力学、闭合度和时间尺度仅用于帮助定位系统，不承担领域分类学结论。判断递归改进证据时，应逐项核对以下十条边；论文未报告的项目记为“未知”，不能默认通过，也不能反推为不存在：

1. 是否执行真实环境、代码或训练行动，而非只生成建议；
2. 结果是否由可执行环境、答案oracle、形式证明或外部人类核验；
3. 经验、程序、数据、belief或参数是否跨任务或轮次持久保存；
4. 持久状态是否明确改变后继采样、搜索、损失、planning/value或任务分布；
5. 后继模型、Agent或程序是否实际生成并运行；
6. parent、child、数据、评估器和工具链是否可追踪；
7. 晋级或终评是否与proposal、训练信号和开发fitness隔离；
8. 是否存在冻结external judge、隐藏测试或未被搜索消费的anchor；
9. 是否测量任务、环境、表示或judge随代际的漂移；
10. 错误更新是否能连同派生数据、记忆、技能和下游模型一起撤销。

长期员工式能力主要依赖第3、4、9、10项；真实研发贡献主要依赖第1、2、6、7项；代际稳定性主要依赖第5、7、8、9项。这个清单的目的不是产生总分，而是暴露断边：例如SWE-agent闭合真实行动和测试，却没有跨任务持久写入；Voyager闭合技能写入和后继消费，却缺少独立版本门；DGM实际运行代码后继并保留谱系，但开发fitness被搜索反复消费。

13.8 六类失败机制比统一分级更能预测风险

这些家族也解释了为什么“形式上可自改”不等于“现实中能改进”。Gödel machine把采用条件写成当前公理与效用下的证明义务，但其状态充分性取决于形式环境是否忠实；episodic memory的主要瓶颈则是检索分布与冲突治理。两者不是同一连续谱上的快慢版本。

13.9 三项不能由现有公开结果补出的关键空白

本报告没有原始checkpoint、未污染selector或冻结judge，且本地主机无GPU，因此不伪造以下结果：

• 代际表示漂移：多数工作没有在固定probe set上逐代报告CKA、probe embedding或功能表示漂移；共享预训练基座可能制造“稳定代际”的表象。
• 独立selector下的population best：开发fitness既决定繁殖又用于报告最优时，选择偏差与真实多样性收益无法分离。
• 冻结external anchor下的judge漂移：同源judge是否逐代变宽松，通常没有用早期固定checkpoint或外部评估器持续校准。

因此，文中的“未发现完整全栈闭环”只表示：在本文截至2026-07-24核验的61项候选及其一手引用链中，没有一项公开材料同时报告上述十条证据边。它不是对整个领域或未公开工业系统的不存在断言。未来最低复核包应发布固定probe set、逐代checkpoint、未参与搜索的终评任务、parent-child配对结果、single lineage与population best、judge版本和冻结anchor，以及包含派生数据与工具链hash的回滚清单。

14. 工程决策树

14.1 先问验证信号是否闭合

1. 任务是否有可执行、低歧义的oracle？

- 有：优先程序/技能库搜索，保留全部候选谱系；通过隐藏测试后再考虑权重巩固。 - 没有：不要让同一模型同时生成、评分和晋级；引入人类、真实用户结果或不同方法族评估。

1. 环境转移是否可重复且便宜？

- 是：可使用world model、群体搜索或self-play式数据生成，但必须保持独立终评。 - 否：把模型定位为提案者和实验设计助手，真实执行结果是唯一高权重写入信号。

1. 知识是否需要来源、权限、删除或法律审计？

- 是：保存在参数外版本化记忆；权重只做延迟巩固。 - 否且规律稳定高频：可以在严格回归后更新权重。

1. 优化过程会反复接触benchmark吗？

- 会：建立开发集、受保护回归集和终评集；限制反馈带宽并轮换任务。

1. 一次失败是否有高副作用？

- 有：工具权限最小化、沙箱执行、人工批准、可回滚版本门。

14.2 三档路线建议

近期可落地：受治理的研发协作栈

• 版本绑定任务契约；
• Agent执行真实工具和测试；
• 经验/技能库带来源、适用域和失败记录；
• 提案模型与终评隔离；
• MLMD式谱系；
• 统计准入、canary和rollback；
• 权重不在线自改，只定期离线巩固。

这是最接近“长期员工”又不要求尚未证明的长程自我改进的方案。

中期研究赌注：可校准的代码库belief与跨任务技能治理

重点不是更长上下文，而是版本化belief、未执行动作后果预测、真实残差校正、技能依赖和冲突仲裁。应以跨issue/commit长期任务、分布变化和回滚能力为主评测，而不是只在静态SWE-bench上提高pass rate。

不宜越级下注：生产模型自由修改自身权重和评估器

在缺少多代独立证据、受保护回归、来源保留和可审计回滚时，在线自改权重会把错误写入最难治理的状态层；同源judge会进一步模糊质量量尺。它适合作为沙箱研究对象，不适合作为生产默认架构。

15. 一个推荐的递归研发系统

15.1 数据平面

每次研发任务绑定仓库commit、环境镜像、数据版本、需求和验收测试。Agent的每个行动产生结构化Event：输入、工具、权限、输出、成本和真实执行结果。事实记忆、经验和技能分库存储，均带来源、时间、适用范围、置信度和替代关系。

15.2 学习平面

在线阶段只允许：检索、计划、执行、反思和受门控的技能库更新。反思不能仅由模型自评，应由测试、人类或真实任务结果触发。world model/belief可以更新，但预测与真实残差必须保留以供校准。权重更新在离线批次进行，训练集只纳入多次验证、去重、来源清楚且权限允许的产物。

15.3 评测平面

至少分三层：

• 开发反馈：可较丰富，帮助调试；
• 受保护回归：只给粗粒度反馈，防止适应；
• 最终晋级：不同人员或不同评测方法族控制，包含分布变化、旧能力、安全和成本。

报告single lineage、population best和冻结候选三个视图；多seed不等于外部独立复现。LLM judge只能作为一个信号，不能成为唯一终局。

15.4 治理平面

工具权限按任务最小化；高风险写操作、训练数据纳入和模型晋级需要策略门或人工批准。每个版本必须能回答：由哪些数据、代码、模型、评估和批准产生；若回滚，哪些下游artifact受影响。机构公开框架已经把自动化AI研发列为风险对象并提出能力阈值或安全等级，但这些官方披露不能证明内部系统已经闭合或控制有效。[36][37][38]

15.5 能力阶梯

1. 可追踪助手：能执行任务并保留结构化轨迹；
2. 可治理记忆者：能更新、冲突仲裁、遗忘和解释来源；
3. 技能积累者：成功技能跨任务复用，并有依赖测试；
4. 环境建模者：预测未执行动作后果，并用真实残差校正；
5. 研发贡献者：提出和执行实验，产物通过独立验证；
6. 版本影响者：经验进入后继训练或Agent代码；
7. 受控递归改进者：多代提升在漂移、隐藏回归和外部复现下成立，并可回滚。

公开工作大多位于第2–6级的局部片段。第7级的联合证据尚未出现于本次来源池。这个空格应被视为明确的研究议程：未来系统必须同时证明知识连续性、独立验证、跨代稳定与可审计回滚，而不能继续用单项benchmark增益替代整条链。

16. 如何评测“长期员工式”Agent

单一最终成功率不够。建议按以下轴独立报告：

最关键的实验不是让Agent在固定benchmark上无限重试，而是在环境和需求变化时观察它是否能保留正确历史、撤销错误、预测后果，并把有效经验安全地交给后继版本。

17. 证据边界与研究方法

本文不是按关键词“recursive self-improvement”做的封闭数据库系统综述，而是从持续学习、外部记忆、世界模型、自动研发、程序归纳、群体训练、组织治理和失败证据等十类query family渐进扩展。证据截止到2026-07-24。来源池最终包含61项身份有效候选，选择24个承担核心机制责任的锚点，并对6个跨代候选做严格筛查。

关键方法原则如下：

• 论文正文、正式技术报告和公开代码支持机制事实；机构政策和博客只支持其明确披露的治理主张；
• 论文身份先用arXiv、DOI或Crossref核验，再回正文定位章节、公式、算法或图表；
• “本次检索未发现”只表示当前候选池中的EMPTY-SEARCHED，超时、不可访问和未深读标为未知；
• 证据强度绑定到具体claim及范围，不给整篇论文单一总分；
• 迭代深度按parent→child更新边计；
• 两名独立编码员盲评8个claims，原单标签精确一致5/8；拆开来源、支持度和外推范围并增加“反证/不适用”后，8/8达到实质一致；
• 精确逐次搜索字符串未完整保存，因此候选和裁决可追踪，但不能声称搜索会话可逐字重放。

本文提出的四个学习骨架、治理平面和证据三轴是为了比较异质文献的分析框架，不是领域已经形成的标准分类。读者应把它看成可反驳的压缩：若未来系统的状态消费无法写入四骨架及其耦合方程，分类就需要修订。

18. 最终判断

模型已经能够实质参与下一代模型研发，但目前最可靠的能力是：扩大候选生成、执行可验证实验、积累显式技能、压缩程序结构、辅助评测和维护研发谱系。公开证据尚不足以支持“一个生产Agent能在开放环境中长期自主积累知识，并安全、稳定地改进自己的后继模型”这一强断言。

实现这一目标的关键并不是单独发明一种更强模型，而是让四类学习动力学在治理约束下组合：

• 经验和技能进入可检查的外部状态；
• belief或世界模型接受真实残差持续校正；
• 评估器与优化过程保持足够独立；
• 群体和单体谱系分开报告；
• 通过多代、漂移、隐藏回归和外部复现证明稳定；
• 任何版本晋级都可追溯、可撤销。

在这些条件达到之前，“递归自我改进”更适合作为一组可组合、可治理的局部闭环，而不是一个已经实现的单体自主能力。近期最优策略是让模型成为高吞吐的研发同事，而不是自己的最终裁判和版本管理员。

参考文献

1. Zelikman et al. STaR: Bootstrapping Reasoning With Reasoning. arXiv:2203.14465. https://arxiv.org/abs/2203.14465
2. Yuan et al. Self-Rewarding Language Models. arXiv:2401.10020. https://arxiv.org/abs/2401.10020
3. Bai et al. Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073. https://arxiv.org/abs/2212.08073
4. Ellis et al. DreamCoder: Bootstrapping Inductive Program Synthesis with Wake-Sleep Library Learning. arXiv:2006.08381. https://arxiv.org/abs/2006.08381
5. Zhang et al. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents. arXiv:2505.22954. https://arxiv.org/abs/2505.22954
6. Zhao et al. ExpeL: LLM Agents Are Experiential Learners. arXiv:2308.10144. https://arxiv.org/abs/2308.10144
7. Wang et al. Voyager: An Open-Ended Embodied Agent with Large Language Models. arXiv:2305.16291. https://arxiv.org/abs/2305.16291
8. Meng et al. Locating and Editing Factual Associations in GPT (ROME). arXiv:2202.05262. https://arxiv.org/abs/2202.05262
9. Mitchell et al. Memory-Based Model Editing at Scale (SERAC). arXiv:2206.06520. https://arxiv.org/abs/2206.06520
10. Baxter. A Bayesian/Information Theoretic Model of Learning to Learn via Multiple Task Sampling. Machine Learning 28, 1997. https://doi.org/10.1023/A:1007327622663
11. Grant et al. Recasting Gradient-Based Meta-Learning as Hierarchical Bayes. arXiv:1801.08930. https://arxiv.org/abs/1801.08930
12. Hafner et al. Dreamer: Reinforcement Learning with Latent Dynamics. arXiv:1912.01603. https://arxiv.org/abs/1912.01603
13. Schrittwieser et al. Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (MuZero). Nature 588, 2020. https://doi.org/10.1038/s41586-020-03051-4
14. Yang et al. SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering. arXiv:2405.15793. https://arxiv.org/abs/2405.15793
15. Jaderberg et al. Population Based Training of Neural Networks. arXiv:1711.09846. https://arxiv.org/abs/1711.09846
16. Silver et al. Mastering the Game of Go without Human Knowledge. Nature 550, 2017. https://doi.org/10.1038/nature24270
17. Silver et al. A General Reinforcement Learning Algorithm that Masters Chess, Shogi, and Go through Self-Play. arXiv:1712.01815. https://arxiv.org/abs/1712.01815
18. Burns et al. Weak-to-Strong Generalization: Eliciting Strong Capabilities with Weak Supervision. arXiv:2312.09390. https://arxiv.org/abs/2312.09390
19. Ha & Schmidhuber. World Models. arXiv:1803.10122. https://arxiv.org/abs/1803.10122
20. Jimenez et al. SWE-bench: Can Language Models Resolve Real-World GitHub Issues? arXiv:2310.06770. https://arxiv.org/abs/2310.06770
21. Zhang et al. Towards Continuous Integration and Continuous Delivery of Machine Learning Models: a Case Study with ease.ml/ci. https://www.usenix.org/conference/opml20/presentation/zhang
22. Park et al. Generative Agents: Interactive Simulacra of Human Behavior. arXiv:2304.03442. https://arxiv.org/abs/2304.03442
23. Packer et al. MemGPT: Towards LLMs as Operating Systems. arXiv:2310.08560. https://arxiv.org/abs/2310.08560
24. Wu et al. LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory. arXiv:2410.10813. https://arxiv.org/abs/2410.10813
25. Maharana et al. Evaluating Very Long-Term Conversational Memory of LLM Agents (LoCoMo). arXiv:2402.17753. https://arxiv.org/abs/2402.17753
26. Sutton, Precup & Singh. Between MDPs and Semi-MDPs: A Framework for Temporal Abstraction in Reinforcement Learning. Artificial Intelligence 112, 1999. https://doi.org/10.1016/S0004-3702(99)00052-1
27. Eysenbach et al. Diversity Is All You Need: Learning Skills without a Reward Function. arXiv:1802.06070. https://arxiv.org/abs/1802.06070
28. Barreto et al. Successor Features for Transfer in Reinforcement Learning. arXiv:1606.05312. https://arxiv.org/abs/1606.05312
29. Hübner, Sichman & Boissier. Developing Organised Multiagent Systems Using the MOISE+ Model. https://doi.org/10.1007/978-3-540-32260-3_9
30. Shumailov et al. The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv:2305.17493. https://arxiv.org/abs/2305.17493
31. Blum & Hardt. The Ladder: A Reliable Leaderboard for Machine Learning Competitions. arXiv:1502.04585. https://arxiv.org/abs/1502.04585
32. Kirkpatrick et al. Overcoming Catastrophic Forgetting in Neural Networks. PNAS 114, 2017. https://doi.org/10.1073/pnas.1611835114
33. Price. Selection and Covariance. Nature 227, 1970. https://doi.org/10.1038/227520a0
34. Eigen, McCaskill & Schuster. Molecular Quasi-Species. J. Phys. Chem. 92, 1988. https://doi.org/10.1021/j100335a010
35. Haigh. The Accumulation of Deleterious Genes in a Population—Muller's Ratchet. Theoretical Population Biology 14, 1978. https://doi.org/10.1016/0040-5809(78)90027-8
36. OpenAI. Preparedness Framework, Version 2. https://openai.com/index/updating-our-preparedness-framework/
37. Anthropic. Responsible Scaling Policy. https://www.anthropic.com/responsible-scaling-policy
38. Google DeepMind. Frontier Safety Framework. https://deepmind.google/discover/blog/introducing-the-frontier-safety-framework/
39. Madaan et al. Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651. https://arxiv.org/abs/2303.17651
40. Shinn et al. Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv:2303.11366. https://arxiv.org/abs/2303.11366
41. Fernando et al. Promptbreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797. https://arxiv.org/abs/2309.16797
42. Chen et al. Eureka: Human-Level Reward Design via Coding Large Language Models. arXiv:2310.12931. https://arxiv.org/abs/2310.12931
43. Romera-Paredes et al. Mathematical Discoveries from Program Search with Large Language Models (FunSearch). Nature 625, 2024. https://doi.org/10.1038/s41586-023-06924-6
44. Lu et al. The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery. arXiv:2408.06292. https://arxiv.org/abs/2408.06292
45. Hu et al. Automated Design of Agentic Systems (ADAS). arXiv:2408.08435. https://arxiv.org/abs/2408.08435
46. Wang et al. Agent Workflow Memory. arXiv:2409.07429. https://arxiv.org/abs/2409.07429
47. Zhong et al. MemoryBank: Enhancing Large Language Models with Long-Term Memory. arXiv:2305.10250. https://arxiv.org/abs/2305.10250
48. Khattab et al. DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines. arXiv:2310.03714. https://arxiv.org/abs/2310.03714
49. Chen et al. Learning to Grow Pretrained Models for Efficient Transformer Training. arXiv:2303.00980. https://arxiv.org/abs/2303.00980
50. Yao et al. Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601. https://arxiv.org/abs/2305.10601
51. Shridhar et al. CodePlan: Repository-Level Coding Using LLMs and Planning. arXiv:2309.12499. https://arxiv.org/abs/2309.12499
52. Zhou et al. Repoformer: Selective Retrieval for Repository-Level Code Completion. arXiv:2403.10059. https://arxiv.org/abs/2403.10059
53. Dean & Ghemawat et al. ML Metadata (MLMD), official project documentation. https://www.tensorflow.org/tfx/guide/mlmd
54. Google DeepMind. AlphaEvolve: A Gemini-Powered Coding Agent for Designing Advanced Algorithms. https://deepmind.google/discover/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
55. Gou et al. CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing. arXiv:2305.11738. https://arxiv.org/abs/2305.11738
56. Bai et al. Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. arXiv:2204.05862. https://arxiv.org/abs/2204.05862
57. Christiano et al. Deep Reinforcement Learning from Human Preferences. arXiv:1706.03741. https://arxiv.org/abs/1706.03741
58. Ouyang et al. Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155. https://arxiv.org/abs/2203.02155
59. Rafailov et al. Direct Preference Optimization: Your Language Model Is Secretly a Reward Model. arXiv:2305.18290. https://arxiv.org/abs/2305.18290
60. Settles. Active Learning Literature Survey. University of Wisconsin–Madison, 2009. https://minds.wisconsin.edu/handle/1793/60660
61. Schmidhuber. Gödel Machines: Fully Self-Referential Optimal Universal Self-Improvers. arXiv:cs/0309048; expanded chapter DOI: https://doi.org/10.1007/978-3-540-68677-4_7
62. Kumar et al. CakeML: A Verified Implementation of ML. POPL 2014. https://doi.org/10.1145/2535838.2535841
63. Thrun & Mitchell. Lifelong Robot Learning. In The Biology and Technology of Intelligent Autonomous Agents, pp. 165–196, 1995. https://doi.org/10.1007/978-3-642-79629-6_7
64. Real et al. AutoML-Zero: Evolving Machine Learning Algorithms From Scratch. arXiv:2003.03384. https://arxiv.org/abs/2003.03384
65. Thompson. Reflections on Trusting Trust. Communications of the ACM 27(8), 1984. https://doi.org/10.1145/358198.358210

附：阅读本报告时应保留的三个问题

1. 被积累的状态是否真的改变下一轮，还是只被记录？
2. 改进分数来自独立、固定且与真实目标一致的信号，还是来自系统自己可以适应的代理？
3. 如果一次更新是错的，能否定位来源、限制影响并回滚？