Linear estimation of vector parameters

시스템을 상태방정식으로 표현 할때 내부 변수의 최적 추정 방법은 다음과 같다.

실 세상에서는 많은 측정의 문제가 아래와 같이 표현 된다.

  $$y(t)= \int_T h(t,\tau)\theta(\tau)d\tau + n(t)$$

 $y(t)$는 측정(observation or measurement) T는 적분 범위이고, $\theta(\tau)$ 는 우리가 알려고 하는 내부 변수이다.  $h(t,\tau)$는 시스템의 특성(characteristic) 함수이다. 내부변수를 알려면 노이즈로 인하여 에러가 발생한다. 계산의 용의 성을 위하여 위식은 아래와 같이 discrete 형태로 만들어진다.

  $$Y=H\theta +N$$

여기서 $Y$ 은 $n \times1$, $H$ 은 $n \times k$ matrix $(n > k)$, $\theta$ 은 $k \times 1$, $N$ 은 $n \times 1$ 벡터 이고 $N_i$ $i=1,...,n$ 은 $i$번째 $Y_i$의 측정값과 연관 되어 있다. 이때 $E[N]=0$ 이라고 가정한다.

여기서 $\theta$로 부터 추정값 $\hat{\theta}$ 을 가장 잘 추정 할수 있는 방법을 알아본다.

$\hat{\theta}$ 이  $Y$의 선형함수로 제안하면

$$\hat{\theta}=BY$$

로 나타낼수 있다. 여기서 $B$는 $Y$에 의존 적이지 않다. 이것은 추정 이론에서 가장 중요한 기본적인 문제이며 여러 책에서 소개 되는 내용이다.

$B$를 계산하기 전에 계산을 위한 기본적인 내용을 살펴본다.

 

스칼라 함수를 벡터로 미분

$q(t)$를  스칼라 함수, $x=(x_1,....,x_n)^T$ 라고 하면

$$\cfrac{dq(x)}{dx} = ( \cfrac{\partial q}{\partial x_1},...,\cfrac{\partial q}{\partial x_n})^T$$

$q(x)$를  $x$로 미분하면 열 벡터가 되고 $i$ 번째 요소는 $q(x)$를 $x_i$로 미분한 값이다.

 

quadratic forms 미분

$A$를 real-symmetric $n \times n$ 행렬이라고 하고 $x$ 를 어떤 $n$-벡터라고 하자. 그러면 quadratic forms 미분은

$$q(x)= x^{T}Ax$$

 $x$로 미분을 하면

$$\cfrac{dq(x)}{dx}= 2Ax$$

이다.

증명 :

$$q(x)=\sum^n_{i=1} \sum^n_{j=1} x_{i}a_{ij}x_j \\=\sum^n_{i=1} x^2_i a_{ii}+ \sum^n_{i=} \sum^n_{j} a_{ij}x_i x_j$$

그러므로

$$\cfrac {\partial q(x)}{\partial x_k}=2 x_k a_{kk} +  2\sum^n_{i \ne k} a_{ki}x_i \\= 2 \sum^n_{i = 1}a_{ki}x_i \\= \cfrac{dq(x)}{dx}= 2Ax$$

 

스칼라 곱의 미분

$a$와 $x$을 $n$-벡터라고 하자. $y=a^T x$

$$\cfrac {dy}{dx} = a.$$

$x$, $y$를 two $n$-벡터 그리고 $A$를  $n \times n$ 행렬이라고 하자. $q=y^T Ax$

$$\cfrac {\partial q}{\partial x} = A^T y.$$

잘보면 변수가 사라지고 transpose가 붙는다.

그럼 다시 본론으로 들어가서

  $$Y=H\theta +N$$

$E[N]=0$ 임을 다시 상기하고.

  $$K=E[N N^T] = \sigma^2 I$$

제곱의 합 $S$을 최소화 하는 적당한 $\theta$를 찾아보자.

  $$S=(Y - H \hat{\theta})^T (Y - H \hat{\theta}) =  \parallel Y - H \hat{\theta} \parallel ^2$$

  $$S=Y^T Y + \hat{\theta}^T H^T H\hat{\theta} - \hat{\theta}^T H^T Y - Y^T H \hat{\theta}^T$$

이를 계산하면

$$\cfrac {\partial S}{\partial \hat{\theta}^T} = 2[H^T H]\hat{\theta} - 2H^T Y$$

$H^T H$가 역행렬이 있다고 가정하면

$$\hat{\theta}_{LS} = (H^T H)^{-1}H^T Y$$

와 같은 유명한 식이 나온다. $LS$: Least square