Enterprise-Scale Coding Agent Benchmark Harness

CodeScaleBench

CodeScaleBench is a benchmark suite for measuring coding agents with external retrieval tools on large enterprise-scale software tasks.

sourcegraph/CodeScaleBench Python Apache-2.0 Evidence candidate

1. 它在图谱里的角色

为什么把它列入复查队列

CodeScaleBench 属于 Enterprise-Scale Coding Agent Benchmark Harness，当前更适合作为 enterprise codebase tasks -> Harbor/Claude harness with baseline vs MCP retrieval configs -> dual-verifier scoring and cost tracking -> auditable snapshots for benchmark governance 这一类机制的复查候选。读者应优先检查它把自进化问题落到哪些可检查的工程环节：生成、反馈、评估、记忆、搜索、编排或训练数据闭环。

2. 进化机制

它如何产生改进信号

当前归档的机制链是：enterprise codebase tasks -> Harbor/Claude harness with baseline vs MCP retrieval configs -> dual-verifier scoring and cost tracking -> auditable snapshots for benchmark governance。阅读时应优先确认三件事：改进对象是什么，反馈信号来自哪里，评估是否能阻止退化。

benchmarkcoding-agentharnessmcpenterprise-codebase

3. 教学用法

可以如何用于教学或复查

可以把它当作 Enterprise-Scale Coding Agent Benchmark Harness 的复查练习：先确认原始仓库、报告和 benchmark 线索，再决定是否进入正式 model card。

4. 工程表面

技术栈与可运行性线索

主要语言是 Python，记录的技术栈包括：Python、Claude Code Harness、MCP Retrieval。许可证记录为 Apache-2.0，最近活跃日期为 2026-05-29。

5. 证据链

从原始材料到分析

站内数据保留了 GitHub 源、局部镜像路径和公开报告路径。这里的证据链优先说明“材料从哪里来、我们如何归类、哪里还没有复现”，而不是替原项目做最终质量裁决。

GitHub: https://github.com/sourcegraph/CodeScaleBench
Local mirror: raw-github/sourcegraph_codescalebench.md
Source report: site/public/reports/projects/291-codescalebench-enterprise-agent-benchmark.md
Published report path: /reports/projects/291-codescalebench-enterprise-agent-benchmark/

6. 读者问题

继续深挖时问什么

这个项目的评估信号能否稳定复现，还是只在 demo 中成立？
它改进的是 prompt、工具、记忆、代码、策略、数据，还是完整 agent 组织？
失败样本会不会被保存，并在下一轮产生行为改变？
它和同类项目相比，多出来且可复查的机制是什么？