플로라도의 data workout

1. Soft Plus 함수 사용 $$y=log(1+e^x)$$  softplus 함수의 출력은, 양수값에서는 y=x에 근접한 모습을 음수 값에서는 0에 가까운 값을 보인다  2. exponential & log 트릭 사용 생성 모델, 베이지안 모델 등에서 output으로 양수 값인 std를 뱉어야 하는 과정에서 음수로 학습되는 것을 방지하기 위해 log_variance로 학습 하는 트릭 사용을 주로 사용한다.

Diagonal Guassian Distribution - Diagonal Gaussian Distribution은 다변량 정규분포(Multivariate Gaussian Distribution)의 특수한 경우로, 공분산 행렬이 대각선(diagonal) 형태를 띠는 분포를 말한다.- 여기서 "diagonal(대각선)"이라는 의미는 공분산 행렬의 비대각원소들이 모두 0임을 의미하는데, 이는 각 변수들이 서로 상관관계가 없다는 (즉, 독립적이라는) 중요한 가정을 내포한다.  Covariance Matrix Covariance Matrix는 공분산 행렬로. 각 변수들의 선형적인 관계와 방향을 나타내며 n x n 의 정방행렬(square matrix)로 주어진다.   주로 사용하는 notation은 위와 같이 ..

(부제 : 과학자가 부활을 믿을 수 있나요? - 칼럼 리뷰)얼마전 '사랑이란 존재 하지 않아! 보이지 않는 건 믿을 수 없어!' 라고 하는 말을 하는 것을 흘깃 듣고선 쉬이 지나칠 수가 없었다. '사랑'이라는 주제가 원체 자극적인 탓도 있겠지만, '아닌데...'라고 마음의 소리가 솟구치는데, 이를 대변해줄 좋은 말은 마땅히 떠오르지 않았던 탓도 있다. 사랑이 존재하지 않는다고...? 아닌 것 같은데...과연 이에 대해 어떻게 이야기하면 좋을까? 이전에 감명 깊게 보았던 우종학 교수의 '과학자가 부활을 믿을 수 있나요?' 칼럼을 인용하여 그럴듯한 설득을 해보려고 한다. 내 아내가 나를 사랑하는 건 과학으로 증명할 수 없습니다. 물론 많은 경험적 증거를 댈 수는 있습니다. 하지만 사실 그녀는 자기 자신을 위..

나는 업무를 할 때, 책을 읽을 때, 공부를 할 때 등무언가 활자를 볼 때 늘 의도적으로 집중하려고 애를 쓰곤 하는 편이다.어떻게든 최대한의 흡수를 위해서 머리를 짜내 몰입하려고 노력한다. 그런데 우연히 그림을 그릴 일이 생겨 그림을 그리는데,이 때 느낀 몰입감은 다분히 의도적인 노력이 들어갔던 책 읽기나, 공부할 때 보다도 훨씬 더 강렬한 몰입의 순간이었다. 자연스러운 몰입,애초에 몰입 자체가 자연스러운 흐름에 찾아온다는 것을 느끼게 되었다.앞으로 책 읽기나 공부할때 자연스러운 몰입을 하려면 어떻게 해야할지 고심이 된다.

이번 강은 Attention에 대해서 다룬다.  지난 시간에는 새로운 구조의 NeuralNet인 RNN에 대해서 배웠다. RNN은 서로 다른 시퀀스의 벡터를 다룰 수 있는 강력한 신경망 구조였다.MLP와 같은 일반적인 Feedforward neural network(순방향 신경망)에서 Recurrent Neural Networks(순환 신경망)로 오면서 우리는 machine translation, image captioning과 같은 다양한 테스크를 해결할 수 있게 되었다.  지난 시간의 내용을 다시 한번 떠올려보자.sequence to sequence with RNN의 문제는 무엇이었을까RNN은 $x_1$에서 $x_T$까지의 sequence를 입력으로 받는다. output은 $y_1$에서 $y_{T^`..