多変数クラメル・ラオの不等式の証明（フィッシャー情報量の意味づけの一つ）

統計学の分野で、クラメル・ラオ (Cramer-Rao) の不等式と呼ばれる有名な式があります：
\begin{equation}
V(t(z)) \geq \frac{1}{I(\theta)}.
\end{equation}ここで $z$ は確率変数で、一つのパラメータ $\theta$ で指定される確率分布 $f_{\theta}(z)$ に従って生成されると仮定します。 $t(z)$ は不偏推定量、 $V(t(z))$ はやはり確率変数である $t$ の分散、そして $I(\theta)$ はフィッシャー情報量です。不偏推定量とは、その期待値が $\theta$ に一致する、つまり「偏りのない」推定量のことです。最後にフィッシャー情報量とは $I \equiv -E[\partial_{\theta}^2f_{\theta}]$ で定義されるある種の「推定の良さ」を示すような量です（ $E$ は期待値を取る演算）。

クラメル・ラオの不等式によれば、不偏推定量の分散には下限が存在し、それがフィッシャー情報量の逆数に一致します。 $I(\theta)$ が大きければ大きいほど不偏推定量の分散は小さくしうる、つまり期待値まわりでより狭い範囲での（＝良い）推定ができるようになる、ということですね。

ところで、ここで書いた式は確率分布関数のパラメータが1次元の場合です。これが多次元になった場合でも同様の式がもちろん成立するのですが、その証明が意外と手元にある本に書いてなかったので、簡単に証明を残しておこうかと思います。

多変数クラメル・ラオの不等式

基本的な道具として、多変数の場合に拡張された Cauchy-Schwarz の不等式を利用します。
\begin{equation}
E[xx^T] \geq E[xy^T]E[yy^T]^{-1}E[yx^T].
\end{equation}ここで、 $x, y\in\mathbb{R}^n$ は n 次元の確率変数です。この式は行列に対する不等式となっていますが、その意味は、左辺から右辺を引いた行列 $M$ が半正定値となる、つまり、任意の $\alpha \in\mathbb{R}^n$ について $\alpha ^TM\alpha \geq 0$ となることです。この式が成立することの証明はあとに回し、まず本題であるクラメル・ラオの不等式を示しましょう。

さて、 $t(z)$ が不偏推定量であることは、 $\int t_{i}(z)f_{\theta}(z)dz =\theta_{i}$ と表せます。ここで、 $t, \theta$ はともに多次元のベクトル、 $\theta_{i}$ はその i 成分とします。また、確率分布の性質から $\int f_{\theta}dz =1$ も成り立ちます。この2式を $\theta_j$ で偏微分すると、 $\int t_i \partial_j f_{\theta}dz = \delta_{ij}$ , $\int \partial_j f_{\theta}dz = 0$ となります。2本目の式には定数をかけても同じなので、両者を合わせて
\begin{equation}
\int (t_{i} - \theta_{i}) \partial_j f_{\theta}dz = \int (t_{i} - \theta_{i}) f_{\theta} \partial_j \log f_{\theta}dz = E[(t_i - \theta_i)\partial_j \log f_{\theta}] = \delta_{ij}.
\end{equation}つまり、 $t-\theta$ と $\nabla\log f_{\theta}$ の共分散は単位行列となります。

そこで、拡張された Cauchy-Schwarz の不等式にて、まず $x=t-\theta, y=\nabla \log f_{\theta}$ とおくと、 $E[xy^T] = E[(t-\theta)\nabla f_{\theta}^T] = 1 = E[yx^T]$ となります。また、すぐ分かるように $E[xx^T] = Cov(t), E[yy^T]=E[\nabla \log f_{\theta}\nabla \log f_{\theta}^T]=I(\theta)$ となり、結論として多変数版のクラメル・ラオ不等式
\begin{equation}
Cov(t) \geq I(\theta)^{-1}
\end{equation}が得られました。これは、確かに1次元版の拡張になっていますね。

Cauchy-Schwarz の不等式の多次元への拡張

通常、Cauchy-Schwarz の不等式で思い出すのはこの形式でしょう： $x, y$ をそれぞれ1次元の確率変数としたときに $E[xy]^2 \leq E[x^2]E[y^2]$ .

多次元版を示すには、自明な不等式 $E[(x^T\alpha + y^T\delta)^2] \geq 0$ から出発します*1。ここで、 $x, y, \alpha, \delta \in \mathbb{R}^n$ で、 $x, y$ は確率変数であるとします。この不等式はどのような $\alpha, \delta$ に対しても成り立ちますが、特にこの期待値を最小にする $\delta^*$ を考えましょう。これは、この式を $\delta$ で偏微分すると分かる通り $\delta^* = -E[yy^T]^{-1}E[yx^T]\alpha$ となります。 $\delta^*$ を元の不等式に入れて整理すると $\alpha^T\{E[xx^T]-E[xy^T]E[yy^T]^{-1}E[yx^T]\}\alpha \geq 0$ となり、拡張された Cauchy-Schwartz の不等式が成り立つことが示されます。