학술 썸네일형 리스트형 The derivative of a quadratic form quadratic form은 다음과 같이 표현된다. $$ f(x)= x^TAx $$ 단 \(x \in R^m \) 그리고 \(A\)는 \(m \times m\) 이다. 여기에서의 내용은 위 quadratic form을 미분하는 것에 대한 설명이다. 먼저 \(y(x)=Ax\)로 놓으면 $$ f(x,y(x))=x^T \cdot y(x) $$ 가 된다. 완전 미분 공식을 사용하면 $$ f'(x,y(x))=\dfrac{\partial f}{ \partial x} + \dfrac{\partial f}{ \partial y} \cdot y'(x) $$ 첫번째 텀인 \(\dfrac{\partial f}{ \partial x}\) 은 만약 \(y(x) \)가 고정이라면 \( x^T y(x)\)의 내적이고 이를 미분한 .. 더보기 [미적분] 라이프니츠 규칙 (Leibniz Rule) 이 글은 라이프니츠의 규칙이 어떻게 유도되는지에 대한 내용이다. $$ \dfrac {d}{dx} \left (\int^{b(x)}_{a(x)} f(x,t)dt\right )=f(x,b(t))\dfrac{d}{dx}b(x)-f(x,a(x))\dfrac{d}{dx}a(x) + \int^{b(x)}_{a(x)}\dfrac{\partial f(x,t)}{\partial x}dt $$ 적분 범위의 변수를 자세히 보지 않으면 기존에 고등학교에서 배우던 것과 혼동하기 쉽다. 우선 간단하게 모든 \(x\) 에 대하여 \( a(x)=a\) 와 \( b(x)=b\) 인 경우를 보자. $$ \dfrac {d}{dx} \left (\int^{b}_{a} f(x,t)dt\right )=\int^{b}_{a}\dfrac{\par.. 더보기 TRANSFORMING DENSITY FUNCTIONS 어떤 변수의 probability density function을 알고 있다면 transformation function을 사용하여 다른 것도 쉽게 구할 수있다. 일반적인 적분에서 변수 치환의 방법은 흔히 쓰는 방법인데 $$ \int^b _a f(x)dx= \int^{y(b)} _ {y(a)} f(x(y)) {dx \over dy} dy $$ 가 된다. 이 공식은 probability density function를 변환할 때 사용 된다. \( X \) 라 는 랜덤 변수가 있고 이것의 density function \( f(x) \) 라고 하면 정의에 의하여 $$ P(a \leq X < b) = \int^b _a f(x)dx $$ 가 된다. 어떤 랜덤 변수의 함수는 또한 랜덤 변수인데, 만일 \( y \.. 더보기 Softmax-with-Loss 계층의 그래디언트 신경망에서 Softmax-with-Loss 계층의 그래디언트 구하는 문제에 대한 설명이 자세히 나온게 있다. 출처 https://ratsgo.github.io/deep%20learning/2017/10/02/softmax/ SoftMax-with-Low 계층의 그래디언트가 위와 같이 쉽게 구해진다.로 간단히 나타내어진다. 더보기 이전 1 2 다음
