Orthogonality Principle

MS 에러를 최소화 하는 상수 $\alpha_1$가 있다고 할때

$$e= E \langle [x- \alpha_1 z]^2 \rangle$$

$x- \alpha_1 z$ 와 z 와 orthogonal 할때 최소 값을 갖는다.

즉

$$E\langle[x- \alpha_1 z]z\rangle  = 0$$

그리고 이때의 최소 값은

$$e_m = E\langle[x- \alpha_1 z]x\rangle$$

이다.

증명)

위 식을 증명하면

$$e= E \langle [x- \alpha_1 z]^2 \rangle\\=E[x^2]-2\alpha_1 E[xz]+ \alpha^2_1 E[z^2]$$

$\alpha_1$ 으로 식을 미분하면

$$\dfrac {\partial e}{\partial \alpha_1} =  -2E[xz] +2\alpha_1 E[z^2] = 0\\ \therefore E[xz] = \alpha_1E[z^2]$$

 

원래 식에다 $E[xz] = \alpha_1E[z^2]$ 을 넣으면

$$e_m= E\langle[x- \alpha_1 z]^2\rangle \\=E[x^2]-2\alpha_1 E[xz]+ \alpha^2_1 E[z^2]\\=E[x^2] - 2\alpha_1 E[xz] +  \frac{\alpha^2_1} {\alpha_1} E[xz]\\=E[x^2]-\alpha_1 E[xz]\\= E \langle [x-\alpha_1 z]x \rangle$$