第16章｜Measurement and Attribution（测量与归因）

一、项目做完了，究竟发生了什么

页面上线、案例发布、媒体收录和测试运行完成，只能说明某些任务已经执行。它们不能自动证明目标环境接收了处理，不能证明公开信息状态发生了有效变化，更不能证明人工智能答案、用户决策和业务结果由此改变。

GEO（生成式引擎优化）行业很容易把不同层级压缩成一句“效果提升”：页面多了、提及多了、引用出现了、推荐率上升了、咨询量增加了，随后把所有变化归因于服务。这样的报告看起来简洁，却隐藏了分母、范围、工具变化、模型更新、同期活动、用户来源和业务质量。

本章不寻找统一GEO Score（GEO评分），而是回答三件事：观察到了什么，变化发生在哪一层，我们拥有多强的理由认为干预对变化产生了贡献。

二、Measurement（测量）与Attribution（归因）的定义

Measurement（测量）是在明确对象、范围、单位、分母、时间、工具、编码规则和不确定性的条件下，把可观察状态转化为可复核记录的过程。

Attribution（归因）是在给定Counterfactual（反事实）问题、比较设计、污染信息和替代解释的条件下，判断某项干预可能对某项结果产生何种程度贡献的推断过程。

测量回答“观察到了什么”，归因回答“为什么可能发生”。测量正确不保证归因成立；归因语言也不能补救错误、不完整或不可比的测量。

三、六类结果必须分离

前一层可能是后一层的必要条件，但不会自动成为充分条件；后层结果出现也不能倒推所有前层机制都成立。

四、Measurement Firewall（测量防火墙）

Task Output（任务产出）
≠ Intervention Exposure（干预暴露）
≠ State Change（状态变化）
≠ AI Behavior Change（人工智能行为变化）
≠ User Exposure（用户暴露）
≠ Decision Influence（决策影响）
≠ Business Outcome（业务结果）
≠ Causal Effect（因果效果）

每一层必须有自己的数据和判定。不能用成交增长补写人工智能中介，也不能用页面上线代替答案变化。Before-after Difference（前后差异）不等于Causal Effect（因果效果）。

五、完整测量与归因链

Intervention Hypothesis（干预假设）
→ Measurement Question（测量问题）
→ Target Outcome and Estimand（目标结果与待估量）
→ Unit, Scope and Denominator（单位、范围与分母）
→ Baseline and Comparison（基线与比较）
→ Measurement Instrument and Codebook（测量工具与编码手册）
→ Observation Schedule（观察计划）
→ Data-quality and Missingness Review（数据质量与缺失复核）
→ Layered Outcome Analysis（分层结果分析）
→ Confounding, Spillover and Regime Review（混杂、外溢与状态切换复核）
→ Causal Confidence（因果置信度）
→ Decision, Disclosure and Learning（决策、披露与学习）

六、Measurement Question, Estimand and Unit（测量问题、待估量与单位）

合格问题至少绑定实体、Decision Situation（决策情境）、目标命题、Decision Variable（决策变量）、Query Cluster（查询簇）、Engine（引擎）、产品入口、地区、语言、时间、实验阶段和干预编号。

“我们的GEO（生成式引擎优化）效果怎么样”不是合格问题。更合格的形式是：在某个目标引擎、产品模式、查询簇和时间窗口内，目标命题的正确实体归属是否相对于合格基线发生变化，以及这种变化是否触达目标用户。

Outcome（结果）是关心的现实状态；Metric（指标）是表示该状态的观测规则；Estimand（待估量）是通过比较希望回答的具体量。

“客户是否获得适配服务”是结果；“合格线索率”可能是指标；“处理状态相对于未处理状态对合格线索率的平均差异”才是待估量。

便于采集的Proxy（代理指标）不能自动等同于真实结果。如果待估量没有事先写清，统计结果即使精确，也可能回答了错误问题。

每项测量还必须分别声明五类Unit（单位）：

同一查询的多次运行不能伪装成多个独立处理单位。页面级处理也不能凭大量回答级样本夸大独立信息。

七、Treatment Receipt（处理接收）与Implementation Fidelity（实施忠实度）

必须区分Planned Treatment（计划处理）、Delivered Treatment（已交付处理）、Received Treatment（已接收处理）和Verified Exposure（已验证暴露）。

后台显示“发布成功”只能证明某系统接受了操作，不能证明目标页面可访问、目标来源已更新、目标用户或人工智能产品实际暴露。

Implementation Fidelity（实施忠实度）记录处理是否按预定内容、范围、时间和渠道执行。处理没有真正接收或执行偏离设计时，结果应优先标记Implementation Failure（实施失败）或Exposure Unknown（暴露未知），不能直接否定干预假设。

八、Scope Lock（范围锁定）

范围至少绑定：

Entity（实体）× Decision Situation（决策情境）
× Query Cluster（查询簇）× Functional Probe（功能性探针）
× Paraphrase（同义改写）× Run（运行轮次）
× Engine（引擎）× Product Mode（产品模式）
× Region（地区）× Language（语言）× Time（时间）
× Experiment Phase（实验阶段）× Known User Context（已知用户上下文）

单一模型、单一时间、研究者构造查询或非目标地区结果，不能无说明泛化到“所有人工智能用户”。

九、Denominator Governance（分母治理）与Missingness（缺失）

所有比例必须保存Planned Runs（计划运行）、Attempted Runs（尝试运行）、Valid Captures（有效采集）、Codable Outputs（可编码输出）、Eligible Decision Contexts（合格决策情境）、Exposed Users or Sessions（已暴露用户或会话）和Qualified Leads or Customers（合格线索或客户）。

拒答、超时、工具失败、解析失败、截断、安全阻断、不可观测、追踪失败、身份解析失败、同意限制和数据延迟必须分别记录。它们不能默认编码成“未提及”，也不能在看到结果后从分母中删除。

不同合理缺失处理会改变结论时，应进行Sensitivity Analysis（敏感性分析）。

十、Baseline Qualification（基线资格）

合格基线不是干预前的一次截图。它需要与处理期尽量一致的范围和工具、足以描述自然波动的重复观察、实体与证据状态快照、公开信息和竞品快照、引擎与产品条件、同期活动和政策变化、缺失分母与编码版本，以及处理泄漏记录。

同时检查Pre-trend（前趋势）、Regression to the Mean（回归均值）、Seasonality（季节性）、Anticipation（提前反应）和Treatment Leakage（处理泄漏）。

没有基线时只能形成Post-only Observation（仅后测观察）；基线不可比时标记Baseline Invalid（基线无效），不能靠扩大后测样本补救。

十一、Comparison Design（比较设计）

比较可以使用Concurrent Control（同期对照）、Staggered Rollout（分阶段上线）、Holdout（保留组）、Matched Comparison（匹配比较）、Interrupted Time Series（中断时间序列）、Within-unit Repeated Measure（单位内重复测量）、合规的Randomized Assignment（随机分配）、Natural Comparison（自然比较）或Post-only Observation（仅后测观察）。

每种设计都要记录分配机制、可比性、未测混杂、污染路径、同期变化和不能控制的差异。设计名称本身不赋予因果置信。

十二、Measurement Contract（测量契约）

实施前记录测量问题、主要和次要结果、待估量、成功方向、单位、范围、分母、纳入排除、基线、比较、观察频率、工具、编码、缺失处理、护栏、停止规则、分析计划、探索范围、负责人和版本。

实施后可以修改，但必须保留旧版本、修改时间、理由、当时是否已经看到结果及其解释影响。看到结果后更换主要指标属于Post-hoc Change（事后更改），只能作为探索性分析披露。

十三、Measurement Instrument（测量工具）与Version Bridge（版本桥接）

工具包括页面核验、来源追踪、人工智能行为探针、人工编码、自动编码、访谈、问卷、会话、CRM（客户关系管理）、销售与财务数据。每个工具都要记录版本、采集方式、可观测边界、误差、校准、权限、隐私和变化。

比较前检查查询、提示、会话、采集接口、Codebook（编码手册）、自动编码器、归一化规则、事件定义、归因窗口和客户资格是否保持Measurement Invariance（测量不变性）。

工具发生重大变化时，需要重新编码、桥接样本、分版本报告或重建基线。不透明第三方综合分只能作为受限Proxy（代理指标），不能成为唯一归因依据。

十四、R1—R10 Result Layer（结果层）

每层分别记录Completed（完成）、Improved（改善）、No Change（无变化）、Worsened（恶化）、Not Tested（未检验）或Indeterminate（无法判断），并保存证据、分母与置信边界。

R4只记录索引、搜索呈现或公开发现代理，不能声明人工智能内部已经检索。R5—R9也必须分别编码，提及不等于引用，引用不等于吸收，吸收不等于正确归属，归属不等于进入决策功能，进入推荐不等于推荐边界正确。

十五、AI-answer Measurement（人工智能答案测量）

人工智能答案至少编码Entity Mention（实体提及）、Displayed Source（显示来源）、Citation-to-claim Link（引用—命题连接）、Claim Absorption（命题吸收）、Entity Attribution（实体归属）、Decision-variable Use（决策变量使用）、Recommendation Inclusion（推荐纳入）、Recommendation Boundary（推荐边界）、Factual Accuracy（事实准确性）、Scope and Qualification（范围与限定）、Unsupported Favorability（无支持的有利呈现）和Harmful or Ineligible Recommendation（有害或不合格推荐）。

AI-DVM（人工智能决策变量地图）仍是条件化答案行为分布，不是人工智能内部机制。

十六、Query and Probe Sampling（查询与探针抽样）

查询来源要标记真实用户证据、公开市场证据、研究者构造、人工智能生成和历史项目复用。真实用户分布未知时，不得赋予看似精确的流量权重；如使用权重，应同时报告未加权结果和权重敏感性。

研究集应覆盖支持、中性、比较、排除、风险、边界与反向探针。Discovery Set（探索集）、Development Set（开发集）和Evaluation Set（评估集）尽量分离。评估集一旦被用于优化，就应降级或退役，验证使用Fresh Holdout（新保留集）。

同义改写和重复运行具有查询谱系与依赖关系，不能全部视为独立样本。大量回答不等于大量独立干预证据。

十七、Coding and Review（编码与复核）

编码需要版本化Codebook（编码手册）、锚定样例、包含排除、多标签规则、冲突裁决、人工盲法、双人复核和自动编码器治理。

自动工具应检查Label Leakage（标签泄漏）、训练与评估混用、版本漂移和与人工复核的差异。若编码者知道处理组且判断含主观空间，应披露并在可行时进行Blinded Review（盲法复核）。

工具一致率不能替代构念有效性。即使两名编码者高度一致，也可能一致地回答了错误问题。

十八、变化幅度、不确定性和多重检验

结果必须同时报告Direction（方向）、Change Magnitude（变化幅度）、有效分母、区间或其他Uncertainty（不确定性）、缺失敏感性和实际重要性。

Statistical Significance（统计显著性）不等于因果、机制、外部有效性、商业重要性或安全。

多个查询、引擎、时间、指标和子群会产生Multiple Testing（多重检验）风险。主要结果与探索结果应预先区分，记录所有已检验项目、分析窥视、停止规则和校正方法，不能只展示最好看的切片。

十九、Time Architecture（时间架构）与Regime Change（状态切换）

测量应区分处理实施期、暴露延迟、短期观察、稳定窗口、业务成熟窗口和长期风险窗口。

变化可以是Transient（短暂）、Persistent（持续）或Regime-specific（状态特定）。模型、产品、搜索、工具、地区政策或重大竞争事件变化时，应分割批次、重建基线或使用Version Bridge（版本桥接），不能把跨状态差异直接归因于干预。

早期成交不能覆盖延迟退款、流失、投诉和服务成本。未成熟队列与成熟队列必须分开。

二十、Confounder Registry（混杂登记）与外溢污染

同期网站改版、品牌活动、销售调整、季节、新闻、模型更新、竞品动作和市场变化都应进入Confounder Registry（混杂登记）。

Spillover（外溢）、Interference（相互影响）和Control Contamination（对照污染）可能通过交叉链接、搜索结果、类别教育、用户共享和竞品采用发生。对照状态要标记Clean（未发现污染）、Possibly Contaminated（可能污染）、Contaminated（已污染）或Indeterminate（无法判断）。

污染不能被忽略；需要重设计、降低归因语言或更换比较结构。

二十一、Link-by-link Attribution（逐连接归因）

完整链路至少包括：

Intervention（干预）
→ Changed Object（被改变对象）
→ Public State（公开状态）
→ AI-answer Behavior（人工智能答案行为）
→ User Exposure and Decision（用户暴露与决策）
→ Business Outcome（业务结果）

每条连接分别判断是否观察、是否可比、替代解释和因果置信。下游成交不能倒推人工智能中介成立；人工智能答案变化也不能证明用户实际看到或因此决策。

Mediator（中介）和Collider（碰撞变量）不能被机械控制。控制一个处理后变量可能引入新偏差，而不是提高因果质量。

二十二、C0—C5 Causal Confidence（因果置信度）

等级必须绑定一条明确Causal Claim（因果命题），不能对整个项目一次性评级。样本量大、运行次数多或统计显著，都不会机械提升等级。

二十三、Contribution Attribution（贡献归因）

严格反事实不足时，可以建立Contribution Ledger（贡献台账），记录干预发生、时间顺序、各连接观测、支持与反向证据、替代解释、外部变化和归因限制。

贡献归因可以说“现有证据与干预产生有限贡献一致”，不能伪装成Causal Attribution（因果归因）。Attribution-language Gate（归因措辞门槛）应把对外措辞锁定在相应C0—C5等级内，并记录管理或销售覆盖。

二十四、User-DVM Measurement（用户地图测量）与身份解析

真实用户决策测量应区分搜索主体、信息接收者、影响者、批准者和购买者。人工智能不能代替User-DVM（用户决策变量地图）的真实用户证据。

获客来源证据应分级记录自报、带参数链接、会话记录、客户关系系统关联、访谈确认和其他可核验路径。Identity Resolution（身份解析）同时记录同意、覆盖、误匹配、漏匹配和不可连接比例。

当无法证明某客户实际接触人工智能或目标内容时，只能报告业务同期变化，不能声称人工智能影响了其决策。

二十五、R10 Business Outcome（业务结果）

业务结果不能只报线索或成交数量。至少包括Volume（数量）、Eligibility Fit（资格适配）、Lead or Customer Quality（线索或客户质量）、Conversion（转化）、Revenue Quality（收入质量）、Retention（留存）、Cost（成本）、Complaint（投诉）、Refund（退款）、Churn（流失）和Harm（伤害）。

业务量上升但不适配客户、退款、投诉和服务成本同步上升，不能被描述为完整成功。Rare-but-severe Event（低频严重事件）不能被总体准确率或平均指标补偿。

投诉和伤害还需记录Detection Opportunity（检测机会）。报告渠道变化可能导致投诉数字变化，不能直接解释为真实伤害增减。

二十六、Guardrail Override（护栏覆盖）与Negative Control（负对照）

重大真实性错误、错误推荐、隐私泄露、合规违反、伤害或公平风险，可以否决提及、引用、推荐和业务数量改善。

Negative Control（负对照）必须说明为何按理论不应受处理影响。处理后变量、中介或碰撞变量不能被机械当成负对照。负对照异常可以削弱因果解释，但负对照无异常也不能自动证明因果成立。

二十七、Heterogeneity（异质性）、构成与影响

总体平均可能掩盖不同引擎、查询簇、地区、用户类型、决策阶段和时间批次的相反变化。应检查Composition Shift（构成变化）、Simpson's Paradox（辛普森悖论）、关键子群和极端批次影响。

子群分析必须区分预设与事后探索，并报告样本与不确定性。不能从一个表现最好的子群外推全部市场。

二十八、Failure Taxonomy（失败分类）

Measurement Failure（测量失败）不等于Gap（缺口）、Intervention Failure（干预失败）或零结果。

失败需要区分实施、处理接收、测量工具、分母、缺失、身份解析、基线、比较、污染、状态切换、假设、不良影响和Indeterminate（无法判断）。

每种解释都需要证据。无法观察不能自动编码为没有效果；没有统计显著也不能自动等于没有实际变化。

二十九、Decision Rule（决策规则）与完整披露

继续、扩大、修改、暂停、停止、撤回或不行动的规则应在看到结果前尽量预设，并综合分层结果、护栏、测量质量、因果置信、资源和风险。

所有成功、失败、无变化、负向、暂停、停止、撤回、测量失败和不行动项目都进入Project Registry（项目登记）分母。只展示成功案例会产生Publication Bias（发表偏差）并阻止方法学习。

复现需要Independence Profile（独立性画像）。共享模板、查询、模型版本和环境的多次运行，不自动构成独立复现。

三十、Measurement and Attribution Card（测量与归因卡）

最低记录必须覆盖问题与契约、单位与范围、处理与基线、设计与工具、数据质量、分层结果、因果审查、用户与业务、决策与治理以及学习回写十组信息。完整字段与失败模板集中在附录C｜Method Templates（方法模板）；认识状态和C0—C5允许措辞见附录D｜Epistemic Status（认识状态）与因果措辞。

三十一、Learning Write-back（学习回写）

测量结果可以更新诊断、干预假设、Evidence Map（证据地图）、User-DVM（用户决策变量地图）、AI-DVM（人工智能决策变量地图）、干预库、失败库、风险日志和服务设计。

回写必须产生新版本并保留原始记录。一次项目结果不能静默覆盖Chapter Freeze（章节冻结）或正式SSOT（单一事实来源），也不能自动升级为Validated Pattern（已验证模式）。

行政结项不能覆盖仍在进行的授权撤回、纠错传播和人工智能残留错误监测。

三十二、本章明确否定的观点

• 页面或媒体交付完成等于干预生效；
• 后台发布成功等于目标环境接收处理；
• 公开可访问等于人工智能已检索或使用；
• 提及、引用、吸收、归属、变量使用和推荐是同一指标；
• 人工智能答案变化等于用户实际暴露；
• 用户暴露等于决策受到影响；
• 成交可以倒推人工智能中介成立；
• Outcome（结果）、Metric（指标）和Estimand（待估量）可以互换；
• 大量回答等于大量独立干预证据；
• 拒答、超时和工具失败可以算作未提及；
• 一次截图是合格基线；
• 基线无效可以靠扩大后测样本修复；
• 设计名称、样本量或统计显著自动赋予因果；
• 工具或编码版本变化不影响前后比较；
• 评估集反复用于优化后仍是独立验证；
• 查询权重可以由研究者随意设定；
• 对照污染可以忽略；
• 产品状态切换前后可以直接归因；
• C0—C5按整个项目、运行次数或显著性赋值；
• C4或C5可以由项目团队自行宣称；
• Contribution Ledger（贡献台账）等于因果归因；
• 业务数量增长可以覆盖质量、成本、投诉和伤害；
• 低频严重伤害可以被平均改善补偿；
• Measurement Failure（测量失败）等于干预失败或零结果；
• 只登记和展示成功项目不会影响方法学习；
• 多次共享环境的复现等于独立复现；
• 可以建立统一Measurement Score（测量评分）或GEO Score（GEO评分）。

三十三、当前仍然不知道什么

以下问题保持Unknown（未知）：

• 不同干预的合理样本、周期、基线和比较结构；
• 查询依赖与Effective Information（有效信息）的稳定估计方法；
• 真实用户查询权重和人工智能暴露分布；
• 工具版本桥接与测量不变性的任务级门槛；
• 外溢、污染和用户变量内生性的识别方法；
• 人工智能答案变化到用户决策和业务结果的因果路径；
• 身份解析在不同隐私条件下的合格覆盖率；
• 低频严重伤害的行业级停止阈值；
• 跨运行、批次、引擎和项目的独立复现标准；
• C4与C5 Causal Confidence（因果置信度）的正式准入标准；
• 诊断、干预和测量质量与业务效果之间的因果关系；
• 可升级为Validated Pattern（已验证模式）的准入条件。

当前Validated Pattern（已验证模式）为空。

三十四、本章结论

Measurement（测量）把可观察状态转化为带对象、范围、单位、分母、时间、工具和不确定性的记录；Attribution（归因）在反事实问题、比较设计、污染和替代解释下判断干预可能产生的贡献。二者不能互相替代。

任务完成、处理接收、对象状态、公开环境、人工智能答案、用户决策和业务结果必须逐层分开。R1—R10 Result Layer（结果层）说明变化在哪里发生，Link-by-link Attribution（逐连接归因）约束每条中介连接，C0—C5 Causal Confidence（因果置信度）约束可以使用多强的归因措辞。

分母、缺失、基线、前趋势、工具版本、查询谱系、依赖、评估集污染、多重检验、状态切换、身份解析、结果成熟度和低频伤害都必须进入测量治理。显著性不等于因果，业务数量不等于业务质量。

第十四至第十六章由此形成“合格诊断—可控干预—分层测量与有限归因”的闭环。下一章将转向Service System Audit（服务体系审计），检验现有Agent（智能体）与Skill（技能）在多大程度上真正实现了这套方法，而不是只在文档中拥有这些概念。

本章图表

图16-1｜Measurement Firewall（测量防火墙）

重绘说明：从任务产出、处理暴露、状态变化、人工智能行为、用户暴露、决策影响、业务结果到因果效果逐层展示，每层之间使用“不等于”。

图16-2｜完整测量与归因链

重绘说明：采用本章第五节的十二节点结构，从干预假设到决策披露与学习，外围增加分母、缺失、版本、护栏和数据谱系治理带。

图16-3｜五类Unit（单位）

重绘说明：分别展示Observation Unit（观察单元）、Treatment Unit（处理单位）、Analysis Unit（分析单位）、Decision Unit（决策单位）和Attribution Unit（归因单位），以页面处理和多次回答说明单位错配风险。

图16-4｜处理接收与实施忠实度

重绘说明：从Planned Treatment（计划处理）到Delivered Treatment（已交付处理）、Received Treatment（已接收处理）和Verified Exposure（已验证暴露），标出每层需要的独立证据。

图16-5｜R1—R10 Result Layer（结果层）

重绘说明：展示十层测量对象，并在R4与R5之间强调“发现代理不等于内部检索”，在R9与R10之间强调“答案行为不等于用户与业务结果”。

图16-6｜Link-by-link Attribution（逐连接归因）

重绘说明：展示干预、被改变对象、公开状态、人工智能答案、用户决策和业务结果六节点，每条边分别放置观测证据、替代解释和C0—C5等级。

图16-7｜C0—C5 Causal Confidence（因果置信度）

重绘说明：用阶梯展示允许的归因语言，C4和C5使用虚线与问号标注“正式准入标准Unknown（未知）”。

图16-8｜业务结果质量与护栏

重绘说明：并列展示数量、资格适配、质量、转化、收入质量、留存、成本、投诉、退款、流失和伤害，突出低频严重伤害可以否决平均改善。

图16-9｜Project Registry（项目登记）完整分母

重绘说明：成功、失败、无变化、恶化、暂停、停止、撤回、测量失败、无法判断和不行动共同进入项目登记，避免只用成功案例形成方法结论。

表16-1｜Measurement and Attribution Card（测量与归因卡）

采用本章第三十节的十组记录面与附录C的完整模板，作为服务系统测量与归因模块的最低输出规范。