Reweight 采样本乘以 reweight 权重使样本从原始密度 P 0 P_0 P0 转移到新密度 P 1 P_1 P1 的方法。 从原始密度采样样样本 x x x 时， x x x 的期望为 E x ～ P 0 [ x ] = ∫ P 0 ( x ) x d x ≈ 1 N ∑ i x i (1) E_{x \sim P_0}[x] = \int P_0(x)x dx \approx \frac{1}{N} \sum_i x_i \tag{1} Ex～P0[x]=∫P 0​ (x)xdx≈N1​i∑​xi​(1)

其中， x i x_i xi​ 为采样点， N N N 为采样个数。 我们的目的是将 x ∼ P 0 x \sim P_0 x∼P0​ 转换为 x ∼ P 1 x \sim P_1 x∼P1​，即求得 x x x 在 P 1 P_1 P1​ 上的期望 E x ∼ P 1 [ x ] ≈ 1 N ∑ i w ( x i ) ⋅ x i w ( x i ) = P 1 ( x i ) / P 0 ( x i ) (2) E_{x \sim P_1}[x] \approx \frac{1}{N} \sum_i w(x_i) · x_i \tag{2} \\ w(x_i) = P_1(x_i) / P_0(x_i) Ex∼P1​​[x]≈N1​i∑​w(xi​)⋅xi​w(xi​)=P1​(xi​)/P0​(xi​)(2)

其中， w ( x i ) w(x_i) w(xi​) 表示 reweight 权重，证明如下所示。 采样时将 x i x_i xi​ 乘以 w ( x i ) w(x_i) w(xi​)，根据式 1 可得 1 N ∑ i P 1 ( x i ) P 0 ( x i ) x i ≈ ∫ P 0 ( x ) P 1 ( x ) P 0 ( x ) x d x = ∫ P 1 ( x ) x d x = E x ∼ P 1 [ x ] (3) \frac{1}{N}\sum_i \frac{P_1(x_i)}{P_0(x_i)}x_i \approx \int P_0(x) \frac{P_1(x)}{P_0(x)}x dx = \int P_1(x)xdx = E_{x \sim P_1}[x] \tag{3} N1​i∑​P0​(xi​)P1​(xi​)​xi​≈∫P0​(x)P0​(x)P1​(x)​xdx=∫P1​(x)xdx=Ex∼P1​​[x](3)

要注意，上述所说的概率密度为标准概率密度，即在定义域内积分为 1 。若 P 0 P_0 P0​ 和 P 1 P_1 P1​ 为非标准概率密度，需要 E x ∼ P 0 [ x ] = 1 ∫ P 0 ( x ) d x ∫ P 0 ( x ) x d x ≈ 1 N ∑ i x i (4) E_{x \sim P_0}[x] = \frac{1}{\int P_0(x) dx} \int P_0(x)x dx\approx \frac{1}{N} \sum_i x_i \tag{4} Ex∼P0​​[x]=∫P0​(x)dx1​∫P0​(x)xdx≈N1​i∑​xi​(4)

x x x 在 P 1 P_1 P1​ 上的期望变为 E x ∼ P 1 [ x ] ≈ ∑ i w ( x i ) ⋅ x i ∑ i w ( x i ) (5) E_{x \sim P_1}[x] \approx \frac{\sum_i w(x_i) · x_i}{\sum_i w(x_i)} \tag{5} Ex∼P1​​[x]≈∑i​w(xi​)∑i​w(xi​)⋅xi​​(5)

证明如下 1 N ∑ i P 1 ( x i ) P 0 ( x i ) x i ≈ 1 ∫ P 0 ( x ) d x ∫ P 1 ( x ) x d x = ∫ P 1 ( x ) d x ∫ P 0 ( x ) d x E x ∼ P 1 [ x ] ≈ ∑ i w ( x i ) E x ∼ P 1 [ x ] \frac{1}{N}\sum_i \frac{P_1(x_i)}{P_0(x_i)}x_i \approx \frac{1}{\int P_0(x) dx} \int P_1(x)xdx = \frac{\int P_1(x) dx}{\int P_0(x) dx} E_{x \sim P_1}[x] \approx {\sum_i w(x_i)}E_{x \sim P_1}[x] N1​i∑​P0​(xi​)P1​(xi​)​xi​≈∫P0​(x)dx1​∫P1​(x)xdx=∫P0​(x)dx∫P1​(x)dx​Ex∼P1​​[x]≈i∑​w(xi​)Ex∼P1​​[x]