The derivative of a quadratic form

quadratic form은 다음과 같이 표현된다.

$$ f(x)= x^TAx $$

단 \(x \in R^m \) 그리고 \(A\)는 \(m \times m\) 이다.

여기에서의 내용은 위 quadratic form을 미분하는 것에 대한 설명이다.

먼저 \(y(x)=Ax\)로 놓으면

$$ f(x,y(x))=x^T \cdot y(x) $$

가 된다.

완전 미분 공식을 사용하면

$$ f'(x,y(x))=\dfrac{\partial f}{ \partial x} + \dfrac{\partial f}{ \partial y} \cdot y'(x) $$

첫번째 텀인 \(\dfrac{\partial f}{ \partial x}\) 은 만약 \(y(x) \)가 고정이라면 \( x^T y(x)\)의 내적이고 이를 미분한 것은 \( y(x)^T\) 가 된다.

마찬가지로 두번째 텀도 \(\dfrac{\partial f}{ \partial y}\) 도 \( x^T \)가 된다.

$$ f'(x,y(x)) = y(x)^T + x^T \cdot A $$

여기서 \(y(x)=Ax\) 이므로 \(y(x)^T=x^TA^T\) 이고 이를 대입하면

$$ f'(x,y(x)) = x^TA^T + x^TA = x^T(A^T+A) $$

만약 \( A^T= A\)이면

$$ f'(x,y(x))=2x^TA^T $$

이다.