Expected value of Quadratic forms

\( A \)  행렬을   \( n \times n \) 이라고 하자. 그러면 quadratic form은 \( A \) 행렬과 연관 되어 있으며 function \( Q_A \) 는 다음과 같이 정의한다.

$$ Q_A(x) = x^T A x  \quad (x \in \mathsf{R}^n )$$

예를 들어 \( 2 \times 2 \) 행렬이라고 해보자.

\(x = \{x_1, x_2\}^T \) 이고 \(A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} \) 라고 하자.

그러면

$$ \begin{split} Q_A &=  x^T A x = \begin{bmatrix} x_{1} & x_{2} \end{bmatrix} \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}  \begin{bmatrix} x_{1} \\ x_{2} \end{bmatrix} \\ &= a_{11}x^2_{1} + a_{12}x_{1}x_{2}  + a_{21}x_{1}x_{2}  + a_{22}x^2_{2}  \\ &= \sum_{i=1} ^2 \sum_{j=1}^2 a_{i,j}x_{i}x_{j} \end{split}$$

\( X \) 를 \( n \) demesional random vector 라고 하자.

$$ X := (X_1,....,X_n)^T $$

그리고 \( Q_A(X) := X^TAX \) 라고 하자

명제1.

 \( E(X) := \mu \) 그리고 \(  Var(X):= \Sigma \) 라고 하면

$$ E(X^T A X) = tr(A\Sigma) + \mu ^T A \mu $$ 

심볼로 나타내면

$$E(Q_A(X)) = tr(A \Sigma) + Q_A(\mu))$$

이 된다.

증명1

식을 다음과 같이 다시 쓸 수 있다.

$$ \begin{split} X^TAX &= (X-\mu)^T AX + \mu^T AX \\&= (X-\mu)^T A(X - \mu) + \mu^T AX + (X- \mu)^T A \mu \end{split} $$

여기에 평균값을 취하면

$$ E(X^TAX)= E[(X-\mu)^T A(X - \mu)] + \mu^T A\mu $$

이제 오른쪽 항목의 값이 \( A \Sigma \)임을 보이려고 한다.

\( Y_j := X_i - \mu_j \) 라고 놓으면 \( Y= X- \mu \) 이다.

$$ \begin{split} E[(X-\mu)^T A(X - \mu)] &= E(Y^T AY] \\ &= \sum_{i=1}^n \sum_{j=1}^n E(Y_iA_{i,j}Y_j) = \sum_{i=1}^n \sum_{j=1}^n A_{i,j}E(Y_iY_j) \\ &= \sum_{i=1}^n \sum_{j=1}^n A_{i,j}E[(X_i-\mu)^T A(X_j - \mu)] \\ &= \sum_{i=1}^n \sum_{j=1}^n A_{i,j} \Sigma_{i,j} = \sum_{i=1}^n \sum_{j=1}^n A_{j,i} \Sigma_{i,j}\\ &= tr(A\Sigma) \end{split} $$

\(\sum_{i=1}^n \sum_{j=1}^n A_{i,j} \Sigma_{i,j} = \sum_{i=1}^n \sum_{j=1}^n A_{j,i} \Sigma_{i,j} \) 로 바뀌는 이유는 \( \Sigma_{i,j} \)이 symetric 하기 때문이고, \( tr(A\Sigma) \)가 되는 것은 합의합(\( \sum_{i=1}^n \sum_{j=1}^n A_{j,i} \Sigma_{i,j} \) )이 \( A\Sigma \) 의 \( trace \) 와 같이 때문이다.

Corollary 2

라벨링을 바꾸면 \( X \Leftrightarrow X - b \)

$$ E[(X-b)^T A(X -b)] = tr(A \Sigma) + (\mu - b)^T A(\mu -b) $$