트위디 공식(Tweedies' Formula)

주어진 식의 증명은 조건부 기대값의 정의와 베이즈 추론, 로그 우도의 그라디언트를 계산하는 과정을 통해 이루어집니다. 여기서 $\mathbb{E}[\mu | x] = x + \sigma^2 \nabla_x \log p(x)$ 또는 $\mathbb{E}[\mu | x] = x + \sum \nabla_x \log p(x)$의 형태는 관측값 $x$에 대한 사후 확률 $p(\mu | x)$를 활용합니다.

1. 조건부 기대값 정의
   조건부 기대값은 다음과 같이 정의됩니다: $$\mathbb{E}[\mu | x] = \int \mu \, p(\mu | x) \, d\mu$$ 베이즈 정리를 통해 $p(\mu | x)$는 다음과 같이 표현됩니다: $$p(\mu | x) = \frac{p(x | \mu)p(\mu)}{p(x)}$$ 여기서: - $p(x | \mu)$: 관측값 $x$의 우도 - $p(\mu)$: $\mu$의 사전 확률 - $p(x) = \int p(x | \mu)p(\mu)d\mu$: 정규화 상수
2. 로그 우도 그라디언트 계산
   로그 우도를 계산하면: $$\log p(x) = \log \int p(x | \mu)p(\mu)d\mu$$ 로그 우도의 그라디언트 $\nabla_x \log p(x)$는 다음과 같이 정의됩니다: $$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ 정규화 상수 $p(x)$에 대한 미분은 다음과 같습니다: $$\nabla_x p(x) = \nabla_x \int p(x | \mu)p(\mu)d\mu$$ 우도의 $x$에 대한 그라디언트를 계산하면: $$\nabla_x p(x | \mu) = -\frac{x - \mu}{\sigma^2} p(x | \mu)$$ 따라서: $$\nabla_x p(x) = \int \left( -\frac{x - \mu}{\sigma^2} \right) p(x | \mu)p(\mu)d\mu$$ 이를 $\nabla_x \log p(x)$에 대입하면: $$\nabla_x \log p(x) = -\frac{1}{\sigma^2 p(x)} \int (x - \mu) p(x | \mu)p(\mu)d\mu$$
3. 조건부 기대값과 연결
   조건부 확률 $p(\mu | x)$를 사용하면: $$\nabla_x \log p(x) = -\frac{1}{\sigma^2} \left( x - \int \mu p(\mu | x)d\mu \right)$$ 여기서 $\mathbb{E}[\mu | x] = \int \mu p(\mu | x)d\mu$를 대입하면: $$\nabla_x \log p(x) = -\frac{1}{\sigma^2} (x - \mathbb{E}[\mu | x])$$ 이를 $\mathbb{E}[\mu | x]$에 대해 풀면: $$\mathbb{E}[\mu | x] = x + \sigma^2 \nabla_x \log p(x)$$
4. 일반화된 형태 $\sum \nabla_x \log p(x)$
   벡터 $x$의 경우, $\nabla_x \log p(x)$는 $p(x)$의 각 성분에 대한 그라디언트를 나타냅니다. 스칼라 $x$ 대신 벡터 $\mathbf{x}$를 고려하면: $$\mathbb{E}[\mu | \mathbf{x}] = \mathbf{x} + \sigma^2 \nabla_{\mathbf{x}} \log p(\mathbf{x})$$ 여기서 $\nabla_{\mathbf{x}} \log p(\mathbf{x})$는 각 차원 $i$에 대해: $$\nabla_{\mathbf{x}} \log p(\mathbf{x}) = \left( \frac{\partial \log p(\mathbf{x})}{\partial x_1}, \frac{\partial \log p(\mathbf{x})}{\partial x_2}, \dots \right)$$ 따라서: $$\mathbb{E}[\mu | \mathbf{x}] = \mathbf{x} + \sigma^2 \sum_i \nabla_{x_i} \log p(\mathbf{x})$$
   결론 주어진 식 $\mathbb{E}[\mu | x] = x + \sum \nabla_x \log p(x)$는 조건부 기대값의 정의와 로그 우도 그라디언트를 결합하여 증명되었습니다. 이 공식은 베이즈 추론에서 중요한 결과로, 관측값 $x$를 기반으로 숨겨진 변수 $\mu$를 추정하는 데 사용됩니다.

[참고 1] 식 $$p(x) = \int p(x | \mu) p(\mu) d\mu$$ 는 **전체 확률의 법칙**에 기반한 결과입니다. 이 식의 의미와 이유를 단계별로 설명드리겠습니다.

1. 전체 확률의 법칙
   확률론에서 어떤 사건 $x$의 확률은 모든 가능한 원인 $\mu$에 대한 확률의 합으로 표현될 수 있습니다. $$p(x) = \sum_{\mu} p(x, \mu)$$ 여기서 $p(x, \mu)$는 $x$와 $\mu$가 동시에 발생할 확률(결합 확률)입니다. 연속 확률 분포에서는 합이 적분으로 대체되므로: $$p(x) = \int p(x, \mu) d\mu$$
2. 결합 확률의 분해
   결합 확률 $p(x, \mu)$는 조건부 확률의 정의에 따라 다음과 같이 분해됩니다: $$p(x, \mu) = p(x | \mu) p(\mu)$$ 여기서: - $p(x | \mu)$: 주어진 $\mu$에서 $x$가 발생할 조건부 확률. - $p(\mu)$: $\mu$의 사전 확률(사전에 알고 있는 $\mu$의 분포). 이를 결합 확률 표현에 대입하면: $$p(x) = \int p(x | \mu) p(\mu) d\mu$$
3. 의미
   이 식은 다음을 나타냅니다: - $p(x)$: $x$가 관찰될 전체 확률. - $p(x | \mu)$: 특정 $\mu$가 주어졌을 때 $x$가 발생할 확률. - $p(\mu)$: $\mu$의 분포를 반영하여 모든 가능한 $\mu$에 대해 $p(x | \mu)$를 가중 평균한 값. 즉, $x$의 확률은 모든 $\mu$에 대해 $\mu$가 일어날 가능성($p(\mu)$)과 $x$가 $\mu$ 아래에서 발생할 가능성($p(x | \mu)$)을 합친 결과입니다.
4. 베이즈 추론에서의 역할
   이 식은 특히 베이즈 정리에서 $p(x)$가 정규화 상수 역할을 한다는 점에서 중요합니다. 베이즈 정리는 다음과 같이 표현됩니다: $$p(\mu | x) = \frac{p(x | \mu) p(\mu)}{p(x)}$$ 여기서 $p(x)$는 사후 확률 $p(\mu | x)$를 정규화(normalization)하기 위한 값입니다.
   결론
   $$p(x) = \int p(x | \mu) p(\mu) d\mu$$ 는 **전체 확률의 법칙**에 따른 표현이며, $x$가 관찰될 확률을 모든 가능한 원인 $\mu$에 대해 평균한 결과입니다. 이 식은 베이즈 추론과 확률 모델링에서 핵심적인 역할을 합니다.

[참고 2]
$$\nabla_x p(x | \mu) = -\frac{x - \mu}{\sigma^2} p(x | \mu)$$ 의 이유:

이를 이해하려면, $p(x | \mu)$가 정규 분포를 따른다고 가정하고, 그 미분 과정을 살펴보아야 합니다.

1. $p(x | \mu)$ 정의

정규 분포 $\mathcal{N}(x; \mu, \sigma^2)$의 확률 밀도 함수는 다음과 같습니다: $$p(x | \mu) = \frac{1}{\sqrt{2\pi} \sigma} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)$$ 여기서: - $\mu$: 평균 - $\sigma^2$: 분산 - $x$: 관측값
2. $\nabla_x p(x | \mu)$ 계산

$p(x | \mu)$를 $x$에 대해 편미분하면 됩니다. 확률 밀도 함수의 미분은 다음과 같은 두 부분으로 나뉩니다:

2-1. 상수 부분

($\frac{1}{\sqrt{2\pi} \sigma}$)은 미분에 영향을 주지 않으므로 생략합니다.
2-2. 지수 함수 부분

($\exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)$)을 미분합니다.

(1) 지수 함수 미분

지수 함수의 미분은 체인 룰(chain rule)을 사용합니다: $$\frac{\partial}{\partial x} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) = \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) \cdot \frac{\partial}{\partial x} \left(-\frac{(x - \mu)^2}{2\sigma^2}\right)$$ 먼저 내부 표현 $-\frac{(x - \mu)^2}{2\sigma^2}$를 $x$에 대해 미분합니다: $$\frac{\partial}{\partial x} \left(-\frac{(x - \mu)^2}{2\sigma^2}\right) = -\frac{1}{2\sigma^2} \cdot \frac{\partial}{\partial x} \left((x - \mu)^2\right)$$ $(x - \mu)^2$를 미분하면: $$\frac{\partial}{\partial x} (x - \mu)^2 = 2(x - \mu)$$ 따라서: $$\frac{\partial}{\partial x} \left(-\frac{(x - \mu)^2}{2\sigma^2}\right) = -\frac{1}{2\sigma^2} \cdot 2(x - \mu) = -\frac{x - \mu}{\sigma^2}$$

(2) 최종 결과

위 결과를 지수 함수 미분 식에 대입하면: $$\frac{\partial}{\partial x} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) = \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) \cdot \left(-\frac{x - \mu}{\sigma^2}\right)$$ 이제 상수 부분 $\frac{1}{\sqrt{2\pi} \sigma}$을 곱해 원래의 $p(x | \mu)$ 형태로 복원하면: $$\nabla_x p(x | \mu) = \left(-\frac{x - \mu}{\sigma^2}\right) p(x | \mu)$$

3. 직관적인 이유

- 정규 분포 $p(x | \mu)$는 $x$에 대해 대칭성을 가지며, 중심(평균)인 $\mu$로부터 멀어질수록 확률 값이 감소합니다. - 미분 결과 $-\frac{x - \mu}{\sigma^2}$는 $x$가 평균 $\mu$에서 얼마나 떨어져 있는지를 나타냅니다. 부호는 증가 또는 감소 방향을 결정하며, 이는 분포의 기울기(gradient)를 의미합니다.

최종 식

따라서: $$\nabla_x p(x | \mu) = -\frac{x - \mu}{\sigma^2} p(x | \mu)$$