全方差分解 从组内波动到组间均值差异
先确认变量、单位与假设,再核对手算、图表和解释范围。
章节速览7 节 · 展开选择
两个批次各自很稳定,合并后为什么波动反而很大?Welford在线方差解决怎样累计中心矩,在线协方差解释分块合并的跨块修正。本篇把修正项拆开看:总体离散程度既来自每组内部,也来自各组均值的位置。
问题不是挑一个更小的方差报告,而是说清楚:随机抽取的是一条记录,还是先等概率抽一个组?本文所有数字都是合成算例,讨论描述性恒等式,不把分组差异解释为处理效果。
先确定六条记录怎样被抽到
A组为1、3,B组为5、7、9、11。等概率抽取六条记录时,抽到A的概率为1/3,抽到B为2/3。组均值分别为2与8,全体均值为6。直接平均两个均值却得到5,它对应先等概率抽组、再组内抽记录的另一个分布。
下文v均按记录数n作分母,单位是原变量单位的平方;若变量是毫秒,方差就是ms²。标准差才恢复为ms,不能把方差说成“平均多等待多少毫秒”。
v_g=Σ组内(x−μ_g)²/n_g;v=Σ全体(x−μ)²/N
各组非空、互不重叠且覆盖所有记录。每条记录恰好出现一次;本篇不处理负权重或重复归属。
这是概率形式全方差定律在经验分布上的应用。有限二阶矩条件与条件期望版本见MIT概率课程总结;下面直接展开有限和,不需要假设各组独立或正态。
交叉项为什么严格消失
对属于g组的记录,把偏离全体均值的量写为(x−μ_g)+(μ_g−μ)。平方后有组内平方、组均值偏离平方与交叉项。组内偏差之和Σ组内(x−μ_g)=0,因此交叉项求和严格为零,而不是“大样本下近似抵消”。
SSW=Σ_g Σ组内(x−μ_g)²
SSB=Σ_g n_g(μ_g−μ)²
v=Σ_g w_g v_g + Σ_g w_g(μ_g−μ)²
SST、SSW、SSB分别为总、组内、组间平方和。最后一行只因前三项同时除以N而成立。
第一项是随机记录所在组的条件方差的平均;第二项是随机记录所在组的均值的方差。“组间”不是对所有两两均值差直接相加,也不是给每组同样的权重。
flowchart TD A[一条记录的总偏差] --> B[相对本组均值] A --> C[本组均值相对总体] B --> D[组内偏差和为零] C --> D D --> E[交叉项消失]
六条数据完整算一次
全体偏差为−5、−3、−1、1、3、5,总平方和70。A组内平方和为2,B组内平方和为20,所以SSW=22。组间平方和为2×(2−6)²+4×(8−6)²=48,恰好22+48=70。
| 项目 | A组 | B组 | 合并口径 |
|---|---|---|---|
| 记录数 | 2 | 4 | 6 |
| 均值 | 2 | 8 | 6 |
| 描述方差 | 1 | 5 | 35/3 |
| 组内贡献 | 1/3 | 10/3 | 11/3 |
| 组间贡献 | 16/3 | 8/3 | 8 |
只平均组内方差得到11/3,遗漏了8;简单平均1与5得到3,还额外把记录权重换成了组权重。用“每个批次都很稳定”代替合并结果,等于忽略了批次中心不同。
自检1:组内方差都为零,总体方差也一定为零吗?
不一定。若A组全为2、B组全为8,组内项为零,组间项仍为8。只有所有记录数为正的组具有相同均值,总体方差才为零。
样本方差不能直接塞进原式
若使用n_g−1分母的样本方差s_g²,必须先恢复平方和SSW=Σ(n_g−1)s_g²,再加SSB,最后除以N−1。这里A组s²=2,B组s²=20/3,全体s²=14。按记录权重平均组样本方差既不是描述方差,也不是全体样本方差。
常见的合并组内方差SSW/(N−G),本例为22/4=5.5。它只总结去掉各组均值后的残差尺度;要把它作为共同总体方差的估计,还需模型条件。它没有包含组均值偏移,不能作为全体记录方差14的替代品。只有一个观测的组仍可参与描述分解,其描述方差为零,但该组的通常无偏样本方差没有定义。
分组越细,组内项为何不会增加
在同一批记录上,把一个组再细分,可对原组内部再次应用平方和分解:旧组内平方和等于新组内平方和加新增组间平方和。后者非负,因此细分后的总组内平方和不增加。这个结论要求是细化关系;两种互相交叉的分组不能直接比较单调性。
极端地,每条记录独立成组,SSW变成0,SSB变成SST。这不是完美解释了数据来源,而是分组记住了每个观测。报告“组别解释了多少波动”时应同时报告组数、每组数量和分组是否事先确定。
flowchart TD A[固定同一批记录] --> B[原组继续细分] B --> C[新增均值差异非负] C --> D[组内平方和不增加] D --> E[另查样本外意义]
两块合并与因果边界
对只有两组的情况,SSB可化为n_A n_B/N乘(μ_A−μ_B)²,正是在线中心矩合并时的跨块修正。这说明即使没有原始记录,只保留计数、均值与组内中心矩,也能恢复合并方差;只保留均值与标准差却忘记数量,就通常不足以唯一恢复。
自检2:本例48/70的组间比例能证明批次造成波动吗?
不能。这是当前记录与分组的描述比例。批次可能同时关联设备、时间、原料和筛选方式;没有识别条件,不能把代数分解当成干预效果。
进一步比较构成变化可读辛普森悖论,比较估计不确定性可读配对Bootstrap。它们回答的问题不同:恒等式核对算术,重采样讨论特定设计下的估计波动,二者都不能单独替代研究设计。
参考资料
- MIT Introduction to Probability:教材总结,条件期望、条件方差及全方差定律。
- MIT 全方差推导课程文字稿。本文有限记录展开、数据和图均自行构造。