플로라도의 data workout

(부제 : 과학자가 부활을 믿을 수 있나요? - 칼럼 리뷰)얼마전 '사랑이란 존재 하지 않아! 보이지 않는 건 믿을 수 없어!' 라고 하는 말을 하는 것을 흘깃 듣고선 쉬이 지나칠 수가 없었다. '사랑'이라는 주제가 원체 자극적인 탓도 있겠지만, '아닌데...'라고 마음의 소리가 솟구치는데, 이를 대변해줄 좋은 말은 마땅히 떠오르지 않았던 탓도 있다. 사랑이 존재하지 않는다고...? 아닌 것 같은데...과연 이에 대해 어떻게 이야기하면 좋을까? 이전에 감명 깊게 보았던 우종학 교수의 '과학자가 부활을 믿을 수 있나요?' 칼럼을 인용하여 그럴듯한 설득을 해보려고 한다. 내 아내가 나를 사랑하는 건 과학으로 증명할 수 없습니다. 물론 많은 경험적 증거를 댈 수는 있습니다. 하지만 사실 그녀는 자기 자신을 위..

나는 업무를 할 때, 책을 읽을 때, 공부를 할 때 등무언가 활자를 볼 때 늘 의도적으로 집중하려고 애를 쓰곤 하는 편이다.어떻게든 최대한의 흡수를 위해서 머리를 짜내 몰입하려고 노력한다. 그런데 우연히 그림을 그릴 일이 생겨 그림을 그리는데,이 때 느낀 몰입감은 다분히 의도적인 노력이 들어갔던 책 읽기나, 공부할 때 보다도 훨씬 더 강렬한 몰입의 순간이었다. 자연스러운 몰입,애초에 몰입 자체가 자연스러운 흐름에 찾아온다는 것을 느끼게 되었다.앞으로 책 읽기나 공부할때 자연스러운 몰입을 하려면 어떻게 해야할지 고심이 된다.

이번 강은 Attention에 대해서 다룬다.  지난 시간에는 새로운 구조의 NeuralNet인 RNN에 대해서 배웠다. RNN은 서로 다른 시퀀스의 벡터를 다룰 수 있는 강력한 신경망 구조였다.MLP와 같은 일반적인 Feedforward neural network(순방향 신경망)에서 Recurrent Neural Networks(순환 신경망)로 오면서 우리는 machine translation, image captioning과 같은 다양한 테스크를 해결할 수 있게 되었다.  지난 시간의 내용을 다시 한번 떠올려보자.sequence to sequence with RNN의 문제는 무엇이었을까RNN은 $x_1$에서 $x_T$까지의 sequence를 입력으로 받는다. output은 $y_1$에서 $y_{T^`..

오늘은 새로운 종류의 신경망인 RNN에 대해서 다룬다.  본격적으로 시작하기 전에, 우리가 지난 강의 딥러닝의 소프트웨어와 하드웨어를 다룬 장에서 파이토치와 텐서플로우를 비교한적이 있었는데 현재 강의하고 있는 전후인 19년도 10월 10일에, 파이토치 1.3이 업데이트 되었다.파이토치가 더 선호되면서도, 텐서플로우보다 모바일에서 배포하기 까다로운 단점이 여전히 있던 문제가 있었는데이제는 금번 업데이트로, 이론적으로 모바일에서도 배포하기 좋은 환경이 되었다! 이렇게 한 학기에도, 심지어 1~2주전에 다룬 내용이 outdated되는 걸 볼 수 있는게 바로 딥러닝 분야이다.!  우리는 지난 두번의 강의에 걸쳐 신경망 학습의 기본 전략(nuts and bolts)에 대해서 자세히 다루었다.이제 우리는 ConvN..

Neural Network을 학습시키는 전략에 대해서 다루어 보는 2번째 시간이다.   지난 시간에는 활성화 함수와, 데이터의 전처리, 가중치의 초기화, Regularization에 대해서 다루었고 이번 시간에는 Learning rate schedule, hyperparameter optimization과 같은 학습의 요소와 전략들과모델 앙상블(Model ensemble), 전이 학습(Transfer Learning), 배치 학습(large-batch training)에 대해서 다룬다.  첫번째로 살펴볼 것은 Learning Rate Schedule이다.                   constant learning rate schedule은 지금까지 적용해온 learning rate를 그대로인데, 처..