학술/공학 썸네일형 리스트형 트위디 공식(Tweedies' Formula) 주어진 식의 증명은 조건부 기대값의 정의와 베이즈 추론, 로그 우도의 그라디언트를 계산하는 과정을 통해 이루어집니다. 여기서 \( \mathbb{E}[\mu | x] = x + \sigma^2 \nabla_x \log p(x) \) 또는 \( \mathbb{E}[\mu | x] = x + \sum \nabla_x \log p(x) \)의 형태는 관측값 \( x \)에 대한 사후 확률 \( p(\mu | x) \)를 활용합니다.조건부 기대값 정의조건부 기대값은 다음과 같이 정의됩니다: \[ \mathbb{E}[\mu | x] = \int \mu \, p(\mu | x) \, d\mu \] 베이즈 정리를 통해 \( p(\mu | x) \)는 다음과 같이 표현됩니다: \[ p(\mu | x) = \frac{p.. 더보기 Bayes Discriminants and Neural Networks Pattern Classification Duda 책에 나온 Bayes룰과 Neural Networks의 관계에 대하여 증명하는 내용이 다소 불친절하여 좀 더 정리하고자 한다.Neural Networks에서의 \( k\)번째 출력을 \( g_k (x;w_k)\) 라고 한다. 카테고리가 \(w_k)\) 일때 이에 해당하는 discriminant function이 된다.Bayes 룰은 아래와 같다.$$ P(w_k | x) = \cfrac{p(x | w_k)P(w_k)}{\sum_{i=1}^c p(x|w_i)p(w_i)} = \cfrac{p(x,w)}{p(x)}$$어떤 패턴 \( x\) 에 대한 Bayes decision : \( g_k(x) =P(w_k|x) \)를 갖는 가장 큰 카테고리 \(w_k \)를 .. 더보기 Sufficient Statistics and the Exponential Family Factorization Theorem 이 어떻게 sufficient statistics를 구하는데 사용되는지 알기 위하여 \(d\) 차원 normal case, 고정 covariance인 경우를 생각해 본다. 평균을 알려져 있지 않고, \( p(x|\theta) \;\sim \; N(\theta,\Sigma) \) 여기서 우리는 $$ \begin{split} p(\mathcal{D}|\theta) &= \prod_{k=1}^n \cfrac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} exp[-\cfrac{1}{2}(x_k-\theta)\Sigma ^{-1}(x_k -\theta)] \\&= \cfrac{1}{(2\pi)^{nd/2}|\Sigma|^{n/2}} exp[-\cfrac{1}{2}\.. 더보기 BAYESIAN PARAMETER ESTIMATION : General theory and 예제 Bayesian 접근법은 특별한 경우 즉 multivariate Gaussian에서 원하는 density \( p(x| \mathcal{D})\) 를 얻기 위하여 사용된다. 이 접근법은 알려지지 않은 density가 parameterized 되는 경우에 적용 될 수 있도록 일반화 될 수 있다. \( \bullet \; \) \( p(x| \theta) \)는 알려져 있다고 가정한다. 그러나 \( \theta\)의 값은 정확하게 모른다. \( \bullet \;\) \( \theta\)의 대한 초기 값은 알려진 prior density \( p( \theta)\) 에 포함되어 있다고 가정한다. \( \bullet \;\) \(\theta\)에 대한 나머지 정보는 알려지지 않은 Probability dens.. 더보기 이전 1 다음
