가중치 양수 제한 방법, 수치적 안정성 부여 방법

 

 

1. Soft Plus 함수 사용

 

$$y=log(1+e^x)$$

 

 

softplus 함수의 출력은, 양수값에서는 y=x에 근접한 모습을 음수 값에서는 0에 가까운 값을 보인다

 

 

2. exponential & log 트릭 사용

 

생성 모델, 베이지안 모델 등에서 output으로 양수 값인 std를 뱉어야 하는 과정에서 음수로 학습되는 것을 방지하기 위해 log_variance로 학습 하는 트릭 사용을 주로 사용한다.