Orthogonality Principle

MS 에러를 최소화 하는 상수 \( \alpha_1 \)가 있다고 할때

$$ e= E \langle [x- \alpha_1 z]^2 \rangle $$

\( x- \alpha_1 z \) 와 z 와 orthogonal 할때 최소 값을 갖는다.

즉

$$ E\langle[x- \alpha_1 z]z\rangle  = 0 $$

그리고 이때의 최소 값은

$$ e_m = E\langle[x- \alpha_1 z]x\rangle $$

이다.

증명)

위 식을 증명하면

$$ e= E \langle [x- \alpha_1 z]^2 \rangle\\=E[x^2]-2\alpha_1 E[xz]+ \alpha^2_1 E[z^2] $$

\( \alpha_1 \) 으로 식을 미분하면

$$ \dfrac {\partial e}{\partial \alpha_1} =  -2E[xz] +2\alpha_1 E[z^2] = 0\\ \therefore E[xz] = \alpha_1E[z^2]$$

 

원래 식에다 \(E[xz] = \alpha_1E[z^2]\) 을 넣으면

$$ e_m= E\langle[x- \alpha_1 z]^2\rangle \\=E[x^2]-2\alpha_1 E[xz]+ \alpha^2_1 E[z^2]\\=E[x^2] - 2\alpha_1 E[xz] +  \frac{\alpha^2_1} {\alpha_1} E[xz]\\=E[x^2]-\alpha_1 E[xz]\\= E \langle [x-\alpha_1 z]x \rangle $$