플로라도의 data workout

1. Soft Plus 함수 사용 $$y=log(1+e^x)$$  softplus 함수의 출력은, 양수값에서는 y=x에 근접한 모습을 음수 값에서는 0에 가까운 값을 보인다  2. exponential & log 트릭 사용 생성 모델, 베이지안 모델 등에서 output으로 양수 값인 std를 뱉어야 하는 과정에서 음수로 학습되는 것을 방지하기 위해 log_variance로 학습 하는 트릭 사용을 주로 사용한다.

Diagonal Guassian Distribution - Diagonal Gaussian Distribution은 다변량 정규분포(Multivariate Gaussian Distribution)의 특수한 경우로, 공분산 행렬이 대각선(diagonal) 형태를 띠는 분포를 말한다.- 여기서 "diagonal(대각선)"이라는 의미는 공분산 행렬의 비대각원소들이 모두 0임을 의미하는데, 이는 각 변수들이 서로 상관관계가 없다는 (즉, 독립적이라는) 중요한 가정을 내포한다.  Covariance Matrix Covariance Matrix는 공분산 행렬로. 각 변수들의 선형적인 관계와 방향을 나타내며 n x n 의 정방행렬(square matrix)로 주어진다.   주로 사용하는 notation은 위와 같이 ..

이번 강은 Attention에 대해서 다룬다.  지난 시간에는 새로운 구조의 NeuralNet인 RNN에 대해서 배웠다. RNN은 서로 다른 시퀀스의 벡터를 다룰 수 있는 강력한 신경망 구조였다.MLP와 같은 일반적인 Feedforward neural network(순방향 신경망)에서 Recurrent Neural Networks(순환 신경망)로 오면서 우리는 machine translation, image captioning과 같은 다양한 테스크를 해결할 수 있게 되었다.  지난 시간의 내용을 다시 한번 떠올려보자.sequence to sequence with RNN의 문제는 무엇이었을까RNN은 $x_1$에서 $x_T$까지의 sequence를 입력으로 받는다. output은 $y_1$에서 $y_{T^`..

오늘은 새로운 종류의 신경망인 RNN에 대해서 다룬다.  본격적으로 시작하기 전에, 우리가 지난 강의 딥러닝의 소프트웨어와 하드웨어를 다룬 장에서 파이토치와 텐서플로우를 비교한적이 있었는데 현재 강의하고 있는 전후인 19년도 10월 10일에, 파이토치 1.3이 업데이트 되었다.파이토치가 더 선호되면서도, 텐서플로우보다 모바일에서 배포하기 까다로운 단점이 여전히 있던 문제가 있었는데이제는 금번 업데이트로, 이론적으로 모바일에서도 배포하기 좋은 환경이 되었다! 이렇게 한 학기에도, 심지어 1~2주전에 다룬 내용이 outdated되는 걸 볼 수 있는게 바로 딥러닝 분야이다.!  우리는 지난 두번의 강의에 걸쳐 신경망 학습의 기본 전략(nuts and bolts)에 대해서 자세히 다루었다.이제 우리는 ConvN..

Neural Network을 학습시키는 전략에 대해서 다루어 보는 2번째 시간이다.   지난 시간에는 활성화 함수와, 데이터의 전처리, 가중치의 초기화, Regularization에 대해서 다루었고 이번 시간에는 Learning rate schedule, hyperparameter optimization과 같은 학습의 요소와 전략들과모델 앙상블(Model ensemble), 전이 학습(Transfer Learning), 배치 학습(large-batch training)에 대해서 다룬다.  첫번째로 살펴볼 것은 Learning Rate Schedule이다.                   constant learning rate schedule은 지금까지 적용해온 learning rate를 그대로인데, 처..