Last30Days Skill Benchmark Harness
mvanhorn/last30days-skill provides a mature Python benchmark harness for evaluating agent skill performance over time.
为什么把它列入复查队列
Last30Days Skill Benchmark Harness 属于 Reproducible Agent Skill Benchmark and Evaluation Harness,当前更适合作为 define benchmark tasks and scoring protocol for skill-driven agent runs -> execute task trajectories under controlled harness settings -> compare variants over reproducible metrics and historical windows -> retain high-performing skill behaviors while flagging regressions 这一类机制的复查候选。 读者应优先检查它把自进化问题落到哪些可检查的工程环节:生成、反馈、评估、记忆、搜索、编排或训练数据闭环。
它如何产生改进信号
当前归档的机制链是:define benchmark tasks and scoring protocol for skill-driven agent runs -> execute task trajectories under controlled harness settings -> compare variants over reproducible metrics and historical windows -> retain high-performing skill behaviors while flagging regressions。阅读时应优先确认三件事:改进对象是什么,反馈信号来自哪里,评估是否能阻止退化。
可以如何用于教学或复查
可以把它当作 Reproducible Agent Skill Benchmark and Evaluation Harness 的复查练习:先确认原始仓库、报告和 benchmark 线索,再决定是否进入正式 model card。
技术栈与可运行性线索
主要语言是 Python,记录的技术栈包括:Python、Benchmark Harness、Agent Skill Evaluation。许可证记录为 MIT,最近活跃日期为 2026-06-01。
从原始材料到分析
站内数据保留了 GitHub 源、局部镜像路径和公开报告路径。这里的证据链优先说明“材料从哪里来、我们如何归类、哪里还没有复现”,而不是替原项目做最终质量裁决。
- GitHub: https://github.com/mvanhorn/last30days-skill
- Local mirror:
raw-github/mvanhorn_last30days-skill.md - Source report: site/public/reports/projects/359-last30days-skill-benchmark-harness.md
- Published report path: /reports/projects/359-last30days-skill-benchmark-harness/
继续深挖时问什么
- 这个项目的评估信号能否稳定复现,还是只在 demo 中成立?
- 它改进的是 prompt、工具、记忆、代码、策略、数据,还是完整 agent 组织?
- 失败样本会不会被保存,并在下一轮产生行为改变?
- 它和同类项目相比,多出来且可复查的机制是什么?