Diagonal Gaussian Distribution 설명

Diagonal Guassian Distribution

 
- Diagonal Gaussian Distribution은 다변량 정규분포(Multivariate Gaussian Distribution)의 특수한 경우로, 공분산 행렬이 대각선(diagonal) 형태를 띠는 분포를 말한다.
- 여기서 "diagonal(대각선)"이라는 의미는 공분산 행렬의 비대각원소들이 모두 0임을 의미하는데, 이는 각 변수들이 서로 상관관계가 없다는 (즉, 독립적이라는) 중요한 가정을 내포한다.
 
 

Covariance Matrix

 
Covariance Matrix는 공분산 행렬로. 각 변수들의 선형적인 관계와 방향을 나타내며 n x n 의 정방행렬(square matrix)로 주어진다.
 
 

 
주로 사용하는 notation은 위와 같이 $\Sigma$ 를 통해 공분산 행렬(=Covariance Matrix)을 표현한다. 대각선을 기준으로 마주보는 두 값(예를들어 $\sigma_{1,2}$ 와 $\sigma_{2,1}$은 동일한 값을 갖는 특징이 있다. 
통상적으로는 각 변수들의 단위에 따라 값이 달라짐을 고려하여, 공분산에 각 변수들의 표준편차를 모두 나눠준 정규화를 통해 Correlation(상관관계)로 주로 대치해서 사용한다.
 

Diagonal Matrix

Diagonal Matrix(대각 행렬)은 대각선 성분인(주대각성분)을 제외한 행렬 내 모든 원소가 0인 값을 갖는 행렬을 말한다.

Again, Diagonal Guassian Distribution

 
- Diagonal Gaussian Distribution은 위의 Covariance Matrix의 개념과, Diagonal Matrix의 형태를 합친 형태이다.
- 다변량 분포에서, 변수들이 모두 정규분포를 띌 때, 주대각 성분의 원소들은 각 변수들의 분산에 해당하며, 이 와중에 비대각 성분의 값은 모두 0, 즉, 공분산이 0인 형태인 경우, 변수간의 독립적인 정규분포를 의미하게 되고, 위와 같은 형태가 바로 'Diagonal Gaussian distribution Matrix'이다.
- 변수 간의 독립성을 가정함으로써 모델의 단순화를 가져오며, 계산적으로 효율적이다.
- 이를 통해 많은 머신러닝 및 통계적 모델링에서 이러한 가정을 사용하여 복잡한 문제를 보다 간단하게 해결한다.