Self-Improvement LLM: 大语言模型自我改进技术综述

这是可索引项目报告证据页：它保留 Self-Improvement LLM: 大语言模型自我改进技术综述 的源材料入口、机制线索和限制提醒；正文仍需 reader/editor 与 academic public-copy review 后才能当作最终结论引用。

Self-Improvement LLM: 大语言模型自我改进技术综述

基本信息

项目简介

本项目是一篇关于大语言模型自我改进技术的综合技术综述的配套资源库。论文标题为”Self-Improvement of Large Language Models: A Technical Overview and Future Outlook” (arXiv 2603.25681)，提出了一个系统级的自改进语言模型框架，将现有研究组织为五个核心组件：数据获取、数据选择、模型优化、推理优化和自主评估。该综述的特色在于不仅提供了技术分类，还深入分析了自改进系统面临的挑战和局限性。

目录结构

zesearch__self_improvement_llm/
├── README.md          ★ 综述完整内容，包含 900+ 篇论文的结构化列表
├── LICENSE            ★ 许可证文件
└── figures/           ★ 论文配图
    ├── LLMaO.png      ★ LLM 作为优化器图示
    ├── LLMaP.png      ★ LLM 作为预测器图示
    ├── LLMaE.png      ★ LLM 作为提取器图示
    ├── LLMaD.png      ★ LLM 作为设计器图示
    └── overview.png   ★ 领域概览图

核心模块分析

1. 数据获取 (Section 2: Data Acquisition)

综述将数据获取分为三种模式：

• 静态策展 (2.2 Static Curation)：从固定的外部资源 (网络、代码、书籍) 中自动采集数据。涵盖 FineWeb、DataComp-LM、C4 等大规模预训练数据集。
• 环境交互 (2.3 Environment Interaction)：通过主动与外部环境交互获取数据，包括 Web 浏览 (WebGPT、BrowserAgent)、代码执行 (RLEF、CodeRL+) 和游戏环境。
• 合成生成 (2.4 Synthetic Generation)：完全脱离外部环境，由模型自主生成训练数据。进一步分为：
  • 基于提示的生成 (2.4.1)：Self-Instruct、WizardLM、Cosmopedia
  • 基于变换的生成 (2.4.2)：Instruction Pre-Training、梯度匹配
  • 基于交互的生成 (2.4.3)：Self-Play Fine-Tuning、R-Zero

2. 数据选择 (Section 3: Data Selection)

• 指标引导评分 (3.2 Metric-Guided Scoring)：使用困惑度、影响分数、奖励模型等指标评估数据质量
  • 一次性评分 (3.2.1)：DoReMi、AlpaGasus、LESS
  • 迭代重评分 (3.2.2)：AdaSTaR、GREATS、自适应课程学习
• 自适应选择 (3.3 Adaptive Selection)：引入可学习的选择器与模型共同进化，如 MATES、SEAL、ScaleBiO

3. 模型优化 (Section 4: Model Optimization)

核心是 GRO (Generation-Reward-Optimization) 框架，定义了三种代表性范式：

• 迭代拒绝采样 (蓝色标记)：生成多候选 -> 过滤 -> 微调最佳 (STaR、ReGenesis)
• 自我验证与改进 (绿色标记)：模型主动评估和改进自身输出 (SELF、Meta-Rewarding)
• 自我博弈 (橙色标记)：多角色动态交互提供进化课程 (SPIN、Absolute Zero)

4. 推理优化 (Section 5: Inference Refinement)

不更新参数的推理时改进方法：

• 解码策略 (5.2)：采样 (Self-Consistency)、树搜索 (ToT, MCTS)、对数调整 (Contrastive Decoding)、效率方法 (Speculative Decoding)
• 推理改进 (5.3)：反馈推理 (Reflexion, Self-Refine)、规划推理 (ReAct, ToT)、协作推理 (Multi-Agent Debate)
• 智能体系统 (5.4)：提示进化 (PromptBreeder)、记忆管理 (MemGPT)、工具创建 (ToolGen)、工作流优化 (EvoFlow, ScoreFlow)
• 测试时训练 (5.5)：TT-SFT 和 TT-RL，在推理时动态更新模型参数

5. 挑战与局限 (Section 7)

综述的独特贡献是深入分析了六大挑战：

• 数据自噬 (7.1)：模型崩溃、灾难性遗忘、数据复制
• 缺陷反馈信号 (7.2)：偏差放大、反馈不一致
• 优化驱动失败 (7.3)：奖励黑客、涌现性不对齐
• 无效自改进 (7.4)：生成-验证差距、自纠正的局限
• 评估瓶颈 (7.5)：基准污染、指标设计缺陷
• 监督瓶颈 (7.6)：监督质量退化、对齐伪装

技术亮点

1. GRO 框架：Generation-Reward-Optimization 三阶段循环的提出统一了各种自改进方法的理论框架，是理解自改进系统运作机制的关键抽象。
2. 三种进化范式：迭代拒绝采样、自我验证与改进、自我博弈三种范式的区分揭示了自改进的不同实现路径。
3. 全面的挑战分析：六大类挑战的系统分析避免了”过度乐观”的风险，为构建鲁棒的自改进系统提供了警示。
4. 900+ 篇论文索引：涵盖 2018-2026 年间的核心工作，是该领域最全面的文献索引之一。
5. 测试时训练：TT-SFT 和 TT-RL 的引入展示了推理时参数更新的前沿方向。

与 Self-Evolve 关联

参考资料

• 论文: Self-Improvement of Large Language Models: A Technical Overview and Future Outlook (arXiv, 2026)
• 网站: https://zesearch.github.io/self-improvement-llm-website/
• 关联工作: Darwin Godel Machine
• 关联工作: Godel Agent