始めに不偏推定量の定義を確認します。
推定したい値(パラメータ)を \(\theta\)、その推定量を \(\hat\theta\) とします。
式 1 が成り立つとき、\(\hat\theta\) は \(\theta\) の不偏推定量と定義されます。
\[
E[\hat\theta]=\theta
\tag{1}\]
つまり、「同じ方法で標本をとり直して何度も推定したとき、推定量 \(\hat\theta\) の平均 \(E[\hat\theta]\) が真の値 \(\theta\) に一致する」場合の \(\hat\theta\) が \(\theta\) の不偏推定量と定義されます。
それでは 自由度 を NGワード にして母分散の不偏推定量を導出します。
\(X_1,\dots,X_n\) は各 \(X_i\) が同じ平均 \(\mu\) と同じ有限の分散 \(\sigma^2\) をもつ(正規分布の仮定は不要)とします。
そのとき標本平均は
\[
\bar X=\dfrac1n\displaystyle\sum_{i=1}^n X_i
\tag{2}\]
となります。
続いて偏差二乗和
\[
S=\displaystyle\sum_{i=1}^n (X_i-\bar X)^2
\tag{3}\]
について、母集団の真の平均(母平均)を \(\mu\) とおいて、以下のとおりに展開します。
\[
X_i-\bar X=X_i-\mu+\mu-\bar X=(X_i-\mu)-(\bar X-\mu)
\tag{4}\]
ここで、\(a_i=X_i-\mu\)、\(b=\bar X-\mu\) とおくと
\[
X_i-\bar X=a_i-b
\tag{5}\]
\(a_i\) は各データの「真の平均からのずれ」、\(b\) は標本平均の「真の平均からのずれ」、\(b\) は \(i\) によらない共通の値になります。
\[
(X_i-\bar X)^2=(a_i-b)^2=a_i^2-2a_i b+b^2
\tag{6}\]
\[
S=\sum_{i=1}^n (X_i-\bar X)^2=\sum_{i=1}^n a_i^2-2\sum_{i=1}^n a_i b+\sum_{i=1}^n b^2
\tag{7}\]
\(b\) は \(i\) に依存しない定数ですので、和の外に出します。
- 第2項 \[\displaystyle\sum_{i=1}^n a_i b=b\sum_{i=1}^n a_i \tag{8}\]
- 第3項 \[\displaystyle\sum_{i=1}^n b^2=n\,b^2 \tag{9}\]
よって
\[
S=\displaystyle\sum_{i=1}^n a_i^2-2b\displaystyle\sum_{i=1}^n a_i+n\,b^2
\tag{10}\]
\(a_i=X_i-\mu\)、\(b=\bar X-\mu\) を代入しますと
\[
S=\displaystyle\sum_{i=1}^n (X_i-\mu)^2-2(\bar X-\mu)\displaystyle\sum_{i=1}^n (X_i-\mu)+n(\bar X-\mu)^2
\tag{11}\]
ここで
\[
\sum_{i=1}^n (X_i-\mu)=\sum_{i=1}^n X_i-n\mu=n\bar X-n\mu=n(\bar X-\mu)
\tag{12}\]
ですので、式 11 の第2項は
\[-2n(\bar X-\mu)^2 \tag{13}\]
\[
S=\sum_{i=1}^n (X_i-\mu)^2-n(\bar X-\mu)^2
\tag{14}\]
その期待値は
\[\begin{eqnarray}
E[S]&=&E\left[\sum_{i=1}^n (X_i-\mu)^2-n(\bar X-\mu)^2\right]\\
&=&E\left[\sum_{i=1}^n (X_i-\mu)^2\right]-E\left[n(\bar X-\mu)^2\right]\\
&=&E\left[\sum_{i=1}^n (X_i-\mu)^2\right]-nE\left[(\bar X-\mu)^2\right]
\end{eqnarray} \tag{15}\]
式 15 の第1項は、各 \(X_i\) の分散が \(\sigma^2\) ですので
\[
E\left[\sum_{i=1}^n (X_i-\mu)^2\right]=n\sigma^2
\tag{16}\]
式 15 の第2項の \(\bar X\) の分散は、
- 定数倍の分散 \[\mathrm{Var}[aY]=a^2\,\mathrm{Var}[Y] \tag{17}\]
- 独立な確率変数の和の分散 \(X_i\) が互いに独立なら \[\mathrm{Var}\!\left[\sum X_i\right]=\sum\mathrm{Var}[X_i] \tag{18}\]
から
\[
\mathrm{Var}[\bar X]=\mathrm{Var}\!\left[\frac1n\sum_{i=1}^nX_i\right]
=\frac1{n^2}\mathrm{Var}\!\left[\sum_{i=1}^nX_i\right]
=\frac1{n^2}\sum_{i=1}^n\mathrm{Var}[X_i]
\tag{19}\]
- 分散は「ずれの二乗」の平均ですので、\(\frac1n\) 倍すると分散は \(\left(\frac1n\right)^2\) 倍になります。
各 \(X_i\) の分散は \(\sigma^2\) ですので、
\[\sum_{i=1}^n\mathrm{Var}[X_i]=n\sigma^2 \tag{20}\]
となり、
\[
\mathrm{Var}[\bar X]=\frac1{n^2}\cdot n\sigma^2=\frac{\sigma^2}{n}
\tag{21}\]
なお、無相関が担保されませんと、和の分散に共分散の項が加わります。
\[
\mathrm{Var}\!\left[\sum X_i\right]=\sum_i\mathrm{Var}[X_i]+\sum_{i\neq j}\mathrm{Cov}[X_i,X_j]
\tag{22}\]
独立であるならば \(i\ne j\) の共分散が 0 になり、第2項が消えますが、系列相関のあるデータではこの項が 0 でなくなるため \(\sigma^2/n\) が成り立たなくなります。
話を 式 21 の続きに戻します。
ここで分散の定義を改めて確認しますと、ある確率変数 \(Y\) についての分散は
\[
\mathrm{Var}[Y]=E\big[(Y-E[Y])^2\big]
\tag{23}\]
となります。
今回の導出の場合では、\(Y=\bar X\) とすると、\(E[\bar X]\) が \(\mu\) に等しければ、式 15 の第2項の \(E[(\bar X-\mu)^2]\) は分散の定義そのものになります。
\(E[\bar X]=\mu\) であることは、期待値の線形性から
\[
E[\bar X]=\frac1n\sum_{i=1}^nE[X_i]=\frac1n\cdot n\mu=\mu
\tag{24}\]
と確かめられますので、
\[
E\big[(\bar X-E[\bar X])^2\big]=E[(\bar X-\mu)^2]=\mathrm{Var}[\bar X]=\frac{\sigma^2}{n}
\tag{25}\]
\[
E[S]=n\sigma^2-n\cdot\frac{\sigma^2}{n}=n\sigma^2-\sigma^2=(n-1)\sigma^2
\tag{26}\]
と展開、導出されます。
- 偏差二乗和\(S\) の期待値は、母分散\(\sigma^2\) の \((n-1)\) 倍になっています。
\((n-1)\) は定数ですので、期待値の線形性により両辺を \(n-1\) で割ることが可能なため、
\[
E\!\left[\frac{S}{n-1}\right]=\sigma^2
\tag{27}\]
となります。つまり、
\[
\frac{S}{n-1}=\frac{1}{n-1}\sum_{i=1}^n (X_i-\bar X)^2
\tag{28}\]
の期待値は母分散 \(\sigma^2\) に等しいことから、
\[
\frac{1}{n-1}\sum_{i=1}^n (X_i-\bar X)^2
\tag{29}\]
は \(\sigma^2\) の 不偏推定量 \(s^2\) となります。
また、1回の標本から求めた \(s^2\) の値は、\(\sigma^2\) の不偏推定量による推定値になります。
参考としてのため \(n\) で割りますと、
\[
E\!\left[\frac{S}{n}\right]=\frac{(n-1)\sigma^2}{n}=\frac{n-1}{n}\sigma^2<\sigma^2
\tag{30}\]
となり、平均的に \(\sigma^2\) より小さくなります。
以上です。
