Rで確率･統計:不偏推定量

Rでデータサイエンス

不偏推定量

最小2乗推定量は、

  1. 幾何学的意味:説明変数値行列で張られる線型部分空間への目的変数の写像。
  2. 代数的意味:誤差の平方和を最少にするもの。

係数ベクトル\(\pmb{\beta}\)の推定量\(\textbf{b}\)が、観測値ベクトル\(\textbf{y}\)の線形変換として定数行列\(C\)によってあわわされるとき、\(\textbf{b}\)は\(\pmb{\beta}\)の線形推定量である。\[\textbf{b}=C\textbf{y}\]

さらに\(\textbf{b}\)の期待値が\[E(\textbf{b})=\pmb{\beta}\]を満たすならば\(\textbf{b}\)は\(\pmb{\beta}\)の線形不偏推定量である。

説明変数値行列\(X\)は固定値(非確率変数)と仮定しているので、最小2乗推定量\(\pmb{\beta}\)は定数行列\(\left(X^{'}X\right)^{-1}X^{'}\)による\(\textbf{y}\)の線形変換とみなせる。

故に、\(\pmb{\hat{\beta}}\)は\(\pmb{\beta}\)の線形推定量である。

さらに\(E(\epsilon)=\textbf{0}\)を仮定すれば、\[E\left(\pmb{\hat{\beta}}\right)=\left(X^{'}X\right)^{-1}X^{'}E(y)=\left(X^{'}X\right)^{-1}X^{'}\left(X\pmb{\beta}\right)=\left(X^{'}X\right)^{-1}\left(X^{'}X\right)\pmb{\beta}=I\pmb{\beta}=\pmb{\beta}\]となるので\(\pmb{\hat{\beta}}\)は\(\pmb{\beta}\)の不偏推定量でもある。

まとめると最小2乗推定量\(\pmb{\hat{\beta}}\)は\(\pmb{\beta}\)の線形不偏推定量である。

  • 参考引用資料: 佐和隆光(2020),『回帰分析(新装版)』,朝倉書店,pp.61-63

単回帰モデルを\[Y_i=\alpha+\beta X_i+u_i,\quad i=1,2,\cdots,n\]として、以下の仮定を置く。

  1. \(\mathrm{E}(u_i)=0\)
  2. \(\mathrm{V}(u_i)=\mathrm{E}(u_i^2)=\sigma^2\quad\cdots\)分散均一
  3. \(i\neq j\)の場合、\(\mathrm{Cov}(u_i,u_j)=\mathrm{E}(u_iu_j)=\sigma_{ij}\quad\cdots\)系列相関あり

最小二乗推定量は\[\hat{\beta}=\displaystyle\sum_{i=1}^n\dfrac{X_i-\bar{X}}{\displaystyle\sum_{j=1}^n\left(X_j-\bar{X}\right)^2}\cdot Y_i\]

ここで\[\omega_i=\dfrac{X_i-\bar{X}}{\displaystyle\sum_{j=1}^n\left(X_j-\bar{X}\right)^2}\]とすると、\[\hat{\beta}=\displaystyle\sum_{i=1}^n\omega_i\,Y_i=\beta+\displaystyle\sum_{i=1}^n\omega_i\,u_i\]

\(X\)が非確率変数であることから\(\omega\)も非確率変数であり、推定量の期待値は\[\mathrm{E}\left(\hat{\beta}\right)=\mathrm{E}\left(\beta+\displaystyle\sum_{i=1}^n\omega_i\,u_i\right)=\mathrm{E}(\beta)+\mathrm{E}\left(\displaystyle\sum_{i=1}^n\omega_i\,u_i\right)=\beta+\displaystyle\sum_{i=1}^n\omega_i\,\mathrm{E}(u_i)=\beta+\displaystyle\sum_{i=1}^n\omega_i\cdot0=\beta\]

つまり誤差項\(u_1,u_2,\cdots,u_n\)の系列相関の有無に関わらず(共分散がゼロでなくとも)、\(\hat{\beta}\)は不偏推定量となる。

最終更新

Sys.time()
[1] "2024-04-13 15:41:34 JST"

R、Quarto、Package

R.Version()$version.string
[1] "R version 4.3.3 (2024-02-29 ucrt)"
quarto::quarto_version()
[1] '1.4.542'
packageVersion(pkg = "tidyverse")
[1] '2.0.0'

著者