2026-05-22 · aha team
进化计算 × 大语言模型:2024-2025 前沿导读
导读进化计算与 LLM 融合的代表性进展:从 OPRO、FunSearch 到 AlphaEvolve,从 LLaMEA 到 OpenEvolve。本文是阅读入口,不是系统综述协议。
进化计算的新候选生成器
传统进化算法依赖人工设计的变异算子(如高斯扰动、交叉重组)。大语言模型的出现改变了这个范式——LLM 可以理解问题语义,生成有意义的”变异”,而不仅仅是随机扰动。
Self Evolve 将这一融合称为”LLM 作为进化候选生成器”范式;它的效果取决于 evaluator、搜索空间、成本和失败保留机制。
里程碑:从 OPRO 到 AlphaEvolve
OPRO:LLM 作为优化器(2023)
OPRO(arXiv: 2309.03409)系统性展示了 LLM 可以在自然语言表述的黑盒优化中生成候选:
历史候选 + 分数 → LLM → 新候选
LLM 读取过去尝试的分数,提出新的候选方案。在论文任务设置中,这种方式可以比若干简单搜索基线更有效,但它仍依赖历史记录、反馈质量和任务表达。
FunSearch:可评估数学任务中的发现(Nature 2023)
FunSearch 在 Nature 上发表,用 LLM + 自动评估器发现了新的数学构造:
- 使用 Codey 模型生成函数变体
- 自动评估器筛选
- 维护进化谱系
关键成果:发现了超过已知最优的集合分割问题解。
AlphaEvolve:从单函数到完整代码库(2025)
AlphaEvolve 将 FunSearch 的理念扩展到工业规模:
- 双模型架构(Gemini Flash + Pro)
- MAP-Elites 质量多样性搜索
- 56 年来首次改进 Strassen 算法
- Google/DeepMind 报告了数据中心调度语境下约 0.7% 的计算资源恢复
关键技术组件
1. LLM 作为变异算子
传统变异:x' = x + N(0, σ)
LLM 变异:x' = LLM(x, 评估历史, 上下文)
LLM 变异的优势:
- 理解语义,不会产生无意义变异
- 可以进行”大跳跃”而不仅仅是局部扰动
- 可以从失败中提取模式
2. 自动评估器
进化搜索需要适应度函数。在不同领域:
| 领域 | 评估器 |
|---|---|
| 数学 | 正确性验证 |
| 代码 | 单元测试 + 基准 |
| 算法 | 性能 benchmark |
| Agent | 任务成功率 |
3. 谱系管理
维护进化历史,追踪每个候选的祖先:
种子 → 变异1 → 子代A(保留)
→ 变异2 → 子代B(淘汰)
子代A → 变异3 → 子代C(保留)
开源生态
| 项目 | 特点 | Stars |
|---|---|---|
| OpenEvolve | AlphaEvolve 社区复现 | 6300+ |
| LLaMEA | LLM 作为进化算法 | 活跃 |
| ReEvo | 反思式进化优化 | 活跃 |
与 Self Evolve 的交叉
在 Self Evolve 的技术图谱中,“进化计算 + LLM”路线与”Agent 自我进化”路线正在汇聚:
- ADAS/DGM:将 Agent 代码作为进化对象
- AlphaEvolve:将算法代码作为进化对象
- 两者共享同一核心模式:LLM 变异 + 自动评估 + 谱系保留
未来方向
- 多目标进化:同时优化性能、可读性、安全性
- 迁移进化:在一个领域学到的进化策略迁移到新领域
- 人在回路:人类评估者提供定性反馈,补充自动评估器
- 安全约束:确保进化出的代码不会引入安全漏洞
延伸阅读: