플로라도의 data workout

1. Soft Plus 함수 사용 $$y=log(1+e^x)$$  softplus 함수의 출력은, 양수값에서는 y=x에 근접한 모습을 음수 값에서는 0에 가까운 값을 보인다  2. exponential & log 트릭 사용 생성 모델, 베이지안 모델 등에서 output으로 양수 값인 std를 뱉어야 하는 과정에서 음수로 학습되는 것을 방지하기 위해 log_variance로 학습 하는 트릭 사용을 주로 사용한다.

Diagonal Guassian Distribution - Diagonal Gaussian Distribution은 다변량 정규분포(Multivariate Gaussian Distribution)의 특수한 경우로, 공분산 행렬이 대각선(diagonal) 형태를 띠는 분포를 말한다.- 여기서 "diagonal(대각선)"이라는 의미는 공분산 행렬의 비대각원소들이 모두 0임을 의미하는데, 이는 각 변수들이 서로 상관관계가 없다는 (즉, 독립적이라는) 중요한 가정을 내포한다.  Covariance Matrix Covariance Matrix는 공분산 행렬로. 각 변수들의 선형적인 관계와 방향을 나타내며 n x n 의 정방행렬(square matrix)로 주어진다.   주로 사용하는 notation은 위와 같이 ..