DATA NOTEBOOK阅读地图
7个主要章节
3张图片与图示
1组对照与手算表

先确认变量、单位与假设,再核对手算、图表和解释范围。

章节速览7 节 · 展开选择

加权均值已经说明:同一个加权算式,可能代表频数、精度或目标人群构成。现在进一步追问:如果样本来自分布P,却想回答目标分布Q下的问题,权重究竟怎样得到?为什么“除以权重总和”有时会改变有限样本性质?

本文用有限状态空间推导,所有概率和数值均为合成教学设定。密度比假设已知,不冒称从某个真实数据集可靠估计出了权重;没有把旧文固定权重、独立同方差的结论直接搬到这里。

先定义正在迁移的目标

令X取有限个状态,P为实际抽样分布,Q为目标分布,f为预先固定的有限实数函数。目标是μ=ΣₓQ(x)f(x),单位与f相同。样本X₁至Xₙ独立同分布地来自P,不能因为后来加权就把它们称作来自Q的样本。

要求Q(x)>0的状态均满足P(x)>0,即目标支持集被源支持集覆盖。令w(x)=Q(x)/P(x),则在P有正概率处计算权重;P与Q都为零的状态不产生样本,也不需要对0/0做运算。

恒等式I1:改变计量分布,保留目标

E_P[w(X)f(X)] = ΣₓP(x)Q(x)f(x)/P(x) = E_Q[f(X)];E_P[w(X)]=1。

条件:有限状态、目标支持被覆盖、概率已知且函数固定;权重无量纲。

华盛顿大学Yen-Chi Chen的Monte Carlo讲义给出重要性估计及其方差。注意该讲义的抽样/目标字母与本文相反;核对时应追踪“谁产生样本、谁定义目标”,不能机械照抄比值方向。

两个状态,算清改变了什么

设f(A)=0、f(B)=10,P(A)=0.9、P(B)=0.1,Q(A)=Q(B)=0.5。源均值为1,目标均值为5。相应w(A)=5/9、w(B)=5;稀少的B需要更大权重,才能在期望中代表目标的一半。

源分布A占0.9、B占0.1,目标各占0.5,对应权重为5/9和5

宽图可左右滚动,也可打开下方原图。

权重是目标概率除以抽样概率

等宽区域是信息对照,不是概率柱形图;样本仍由P生成,加权改变的是统计贡献。

查看原图

普通重要性估计为μ̂=(1/n)Σw(Xᵢ)f(Xᵢ)。这里每条加权贡献只可能是0或50;它的期望为5,二阶矩为250,方差为250−25=225。因此μ̂的方差为225/n。若能直接从Q抽样,f的方差只有25,样本均值方差为25/n。

可见,换测度恒等式不自动带来方差降低。本例是不得不复用偏向A的数据,稀少B的大贡献反而放大波动。没有观察到B的小样本,即使加权也仍会得到0;无偏描述的是重复抽样的平均,而不是每次结果都接近5。

自归一化为什么一般不再无偏

另一种常见形式为μ̃=Σwᵢfᵢ/Σwᵢ。它是加权均值,也便于在仅知道未归一化目标时使用;但分母是随机变量,不能把分子期望除以分母期望当成比值期望。

比较I2:普通估计与自归一化

μ̂ = Σwᵢfᵢ/n;μ̃ = Σwᵢfᵢ/Σwᵢ。

前者使用固定分母n;后者要求本次Σwᵢ>0。E_P[w]=1不表示每次样本的权重和恰好等于n。

仍用上例,n=2时令K为抽到B的次数。K的概率与两个估计结果可以全部列出:

K 概率 普通重要性估计 自归一化估计
0 0.81 0 0
1 0.18 25 9
2 0.01 50 10

普通估计的期望为0.18×25+0.01×50=5;自归一化的期望为0.18×9+0.01×10=1.72。后者的结果位于[0,10]内,却在这个有限样本例子中有明显偏差。取值范围合理与估计无偏是不同性质。

在本文有限状态与覆盖条件下,大数定律使分子除以n趋于μ,分母除以n趋于1,因此自归一化估计一致。这个渐近结论不消除n=2的反例。如果某些状态的Q概率为零,本次样本可能全部落在这些状态,权重和为0;此时自归一化不可计算,应报告该情况,不能偷偷回退普通均值。

裁剪提高有效数量,可能同时改变目标

考虑恰好包含9个A和1个B的十条样本。原权重总和为10,加权分子为50,普通与自归一化均得到5。归一化权重的有效数量(Σw)²/Σw²为3.6。

把权重上限截到2,A仍为5/9,B从5降到2。权重和变7,分子变20,自归一化估计变成20/7≈2.857;有效数量则变为441/61≈7.230。有效数量提高,却没有保持原目标估计。

这也不是一次样本才有的偶然:裁剪后总体加权分子期望为2,权重期望为0.7,自归一化的大样本极限就是20/7,已不再是5。若改用固定分母n,裁剪后的期望则为2。裁剪是偏差与波动的取舍,报告时至少同时给阈值、估计量形式、结果变化和覆盖情况。

旧文有效样本量来自固定权重的独立同方差模型。本篇权重由随机状态决定,贡献也随状态改变;3.6或7.230只能作为权重集中程度的描述,不能直接替代这里的方差225/n或置信区间。

迁移到模型评测,还多一层条件

若f改为模型在输入输出对上的损失,仅用输入比Q_X/P_X重加权,要求目标和源的条件分布Q(Y|X)=P(Y|X)。这就是原始IWCV论文采用的协变量偏移设定。输入构成变化与相同输入下标签规律变化不能混为一谈。

例如同一个输入A,在源数据里大多得到一种标签,在目标中却大多得到另一种标签;只调整A出现多少次,并不会修改A内部的标签关系。实际密度比还要从有限数据估计,误差会再进入结果。应区分本篇“已知比值”的算术实验与真实迁移流程,不把训练集拟合、权重估计和独立评测揉成一次无偏宣称。

自检与复核清单

P(B)=0而Q(B)>0,把B的权重设得很大能补回来吗?

不能。P不会生成B,根本没有相应观测可以承载权重。需要补数据、缩小目标或提出额外模型假设,不能声称仅靠重加权识别了该部分。

自归一化结果始终位于观测最小最大值之间,是否代表没有偏差?

不代表。n=2的完整枚举给出期望1.72而目标5,正是有限样本反例。

复核时依次写出:目标分布、真实抽样分布、覆盖条件、比值方向、是否自归一化、裁剪规则和数据独立性。先回答这些问题,再看某个库函数返回的加权数字。

参考资料

  1. Yen-Chi Chen,UW STAT535 Lecture 11:重要性估计、自归一化及方差的课程资料,本文字母约定相反、案例与枚举原创。
  2. Sugiyama、Krauledat、Müller,JMLR 2007:协变量偏移的条件分布不变假设。本文不宣称实现其完整交叉验证方法或复现真实数据实验。