Definition / Survey Rank 1

什么才算严格意义上的自进化 AI Agent?

不要先看项目名、star 或 demo。Ask the operational question first: what part of the agent changes, what feedback selects the change, who verifies it, and does the change survive into the next run?

Observe Interpret Modify Verify Retain
Definition

本 Survey 的工作定义

在本 Survey 的严格口径下,一个 self-evolving AI agent 是这样的系统:它把任务执行、失败、用户反馈、benchmark 或环境信号转成候选改动,并把通过验证的改动保留到 prompt、memory、tool policy、workflow、code、curriculum、weights 或 population 中,影响后续行为。

这一定义来自论文主线和 README 的共同判断:self-evolution 要被评估为 controlled systems process,而不是 demo 标签或项目营销词。

Checklist

六个门槛:答不上来就不要叫自进化

定义证据
门槛通过条件常见失败
可变对象 系统能修改 prompt、memory、tool policy、workflow、code、curriculum、weights 或 population。 只是在一次推理里生成更好的答案。
反馈信号 改动由 benchmark、环境、用户反馈、执行器、测试、judge 或 verifier 驱动。 只靠模型自评说“我变好了”。
候选生成 系统参与提出候选改动,而不是完全由人类离线重写。 人类手动 patch,agent 只执行新版本。
独立验证 候选改动被外部测试、隐藏集、环境反馈或独立 judge 检查。 同一个模型提出改动又批准改动。
保留机制 通过的改动被写入记忆、仓库、archive、技能库、权重或配置,并影响后续行为。 会话结束后没有任何可复用状态。
审计与回滚 有版本、lineage、失败候选、成本或回滚边界。 只有最终分数,没有过程记录。
Boundaries

相邻概念怎么区分

通常不是自进化

普通 Agent workflow

可以动态调用工具,但 workflow、memory、prompt、code 或 policy 没有被反馈驱动地改变。

祖先技术或邻近方法

AutoML / NAS

能自动搜索模型或架构,但常发生在部署前,系统本身未必继续改进自己的运行机制。

需要看是否有自我修改闭环

Online learning

持续接收数据并按固定规则更新,不代表系统参与生成和选择改动。

取决于 retention

Reflection / memory

如果反思被保留并影响后续策略,它可以是轻量自进化;如果只是一轮思考,则不够。

强证据候选

代码自修改

如果代码改动经过测试、保留、回滚和审计,是当前较容易审计的自进化形态之一。

相邻但不自动算入

普通离线训练 / RLHF / RLAIF

权重更新只有在 agentic system 参与候选生成、验证、保留和审计时才进入严格自进化口径;普通离线微调、固定 online-learning rule 或 RLHF/RLAIF 更适合标成相邻训练方法。

Why it matters

定义边界决定 Evolve-AGI Index 是否可信

Coverage

686 raw captures 不能直接等于自进化项目

raw 说明收了什么;是否进入 self-evolution,要看六个门槛和 strict/broad 口径。

Signal

Loop strength 比项目名更重要

名字里有 evolve 只是弱信号;没有这个词的 Reflexion、Self-Refine、DSPy 或 harness 项目也可能提供核心证据。

Governance

越能改自己,越需要回滚和审计

没有 lineage、成本、失败候选和权限边界的系统,不能被误读成成熟自进化。

FAQ

读者最容易混淆的四个问题

自进化 AI Agent 等于 AGI 吗?

不等于。Self Evolve 把它视为一种受控改进过程;Evolve-AGI Index 衡量的是领域成熟度,不是 AGI 终局能力分。

模型权重不变,还能算自进化吗?

可以。很多 agent 的真实控制面在 prompt、memory、tools、workflow 和 code,只要这些对象被反馈驱动地修改并保留,就进入讨论范围。

名字里没有 evolution 的项目会被纳入吗?

会。判断标准不是项目名,而是是否回答了可变对象、反馈、验证、保留和回滚这几个问题。

为什么 demo 不够?

demo 通常展示一次成功结果;自进化需要展示改动过程、失败候选、评估器、成本、回归和可复用状态。