Token烧了，产出在哪？AI编程时代的度量危机与突围

文章主旨：AI编程时代，以Token消耗为代表的“输入性指标”无法衡量真实生产力，需要用一套兼顾成本、效率与价值的多维度度量体系，替代单一且易被刷高的虚荣指标，才能真正评估AI带来的ROI。

关键要点：

• Token是输入性指标而非输出性指标，它与“完成几个feature”指向相反的优化方向，奖励消耗而非奖励结果，并催生了“Tokenmaxxing”这类刷量行为。
• 存在“上游降价、下游涨价”悖论：模型推理单价大幅下降，但应用端成本因上下文、Agent行为复杂度等因素反而增长约10倍，且消耗曲线高度非线性、不可预测。
• 存在“生产力悖论”：AI辅助让外围开发者产出更多代码，却增加了资深开发者的审查与返工负担，组织层面AI采纳率与公司级KPI的相关性消失。
• 替代度量框架正在演化：如DORA与SPACE结合开发者体验的AI扩展、借鉴能源行业LCOE思路的LCOAI成本核算、Salesforce的AWU按可验证任务结果计费的单位。
• 推荐采用三层度量架构——成本度量（花了多少钱）、效率度量（变快了吗）、价值度量（结果变好了吗）——并警惕所有指标都只是proxy，其意义在于把优化方向指向“多创造价值”。

内容结构：

一、输入指标与输出指标的断裂

文章以两种复盘语言的对立开篇：工程师关注“完成了几个feature”，而行业账单记录的是Token消耗。指出Token属于“输入性指标”（衡量算力消耗），Feature是“输出性指标”（衡量产出），二者优化方向完全相反。Token指标因可刷高、消耗曲线非线性，既无法衡量生产力，也丧失了成本管理的有效性。

二、Token的真实账本

看得见的账：引用2022至2024年成本数据，说明推理单价虽大幅下降（20美元→0.07美元/百万token），应用端成本反涨约10倍，原因在于前沿模型因test-time scaling而更贵、单个应用交互的token消耗量成倍增长。且Agent场景下消耗非线性增长，导致企业不敢放大用量。

看不见的账：引用学术研究指出，AI辅助编写的代码需要更多返工，额外负担落在核心开发者身上，他们多审查6.5%代码但自身产出生产力下降19%。Faros AI对10000名开发者的研究同样证实，AI相关PR的review时间增加91%，瓶颈从编写代码转移至审查代码，且组织层面AI采纳率与关键绩效指标相关性消失。

三、三个演化中的度量框架

3.1 DORA + SPACE + AI：回顾DORA四项指标与SPACE五维模型后，指出AI时代需在DORA和SPACE之上叠加专门的AI测量层，结合采纳度量与影响度量。LinearB将此分为“是否在用”和“用了是否更好”（吞吐与质量）两个维度。流动效率被引入以发现编码加速但上下游排队拖慢整体流程的情况。

3.2 LCOAI：借鉴能源行业的平准化电力成本（LCOE），将AI全生命周期成本平摊到“有效推理产出”上，使API方案与自托管方案具备可比性，帮助建立“成本-产出”配比意识。

3.3 AWU：Salesforce推出的Agent结果单位，定义为“agent完成的每一个可验证的离散任务”，按结果计费，从输入指标转向更接近商业价值的中间层proxy。文中类比2012年Facebook从pageview切换至MAU的行业逻辑变化，并指出AWU同样面临未衡量业务成果的批评。

四、度量体系全景架构

作者提出推荐的三层度量框架：

• 成本度量：回答“花了多少钱”，涵盖每有效产出token成本（引入预算上限、实时成本可见性及DeepMind的Budget Tracker等机制）、人均AI成本（引用Kilo.ai预测或超10万美元/年）、隐藏维护成本（资深开发者被AI代码审查挤占的时间）。
• 效率度量：回答“是否变快了”，涵盖交付吞吐量（需与质量联动）、周期时间（尤其追踪review环节，Faros AI的91%增幅是显着瓶颈）、流动效率（端到端是否真的改善）、任务成功率。
• 价值度量：回答“结果变好了吗”，涵盖代码质量与返工率、开发者效能感（信任度、满意度、认知负荷）、业务影响。作者强调每层单独使用均不充分，并引用BNY Mellon研究指出“技术专长积累”与“工作ownership感”是长期关键维度。

五、ROI的实战计算

5.1 基础公式：给出AI编程ROI公式，分母覆盖许可证、Token、工具链维护、培训及隐性维护成本，分子为“节省的开发时间×时薪−返工修复成本”，并提及行业健康ROI区间为2.5-3.5倍。

5.2 被遗忘的维护成本：再次援引开源项目研究结论，强调ROI若只计算“开发者A变快了”，而不计算资深开发者B因审查返工而变慢的部分，ROI即遭严重高估。

5.3 信任与能力建设：引用DORA 2025报告，仅24%开发者高度信任AI输出，验证AI内容的时间成本往往被忽略。BNY Mellon研究还提示“desirable difficulty”（有益困难）消失的风险，即AI替代了亲手解决问题的经验积累，造成长期能力债务。

六、度量哲学

回到开篇场景，作者指出Token与Feature之间的鸿沟本质上是度量哲学的问题。Token确实具备清晰、可计数的优势，但“好用不等于正确”。所有指标都是proxy，其意义在于把优化方向指向“多创造价值”而非“多消耗算力”。具体建议为：不必等待完美体系，立即采用多维度视角同时度量成本、效率与质量，叠加多重信号来逼近真正答案——团队是更好了，还是只是更忙了。

文章总结：本文是一位行业观察者对AI编程度量体系的系统性梳理，调性冷静务实，以“不要被Token数量误导，应通过多维指标衡量真实产出”作为全篇行动号召。

茹炳晟聊软件研发

查看原文：Token烧了，产出在哪？AI编程时代的度量危机与突围

文章来源：

茹炳晟聊软件研发

扫码关注公众号