플로라도의 data workout

오늘은 새로운 종류의 신경망인 RNN에 대해서 다룬다.  본격적으로 시작하기 전에, 우리가 지난 강의 딥러닝의 소프트웨어와 하드웨어를 다룬 장에서 파이토치와 텐서플로우를 비교한적이 있었는데 현재 강의하고 있는 전후인 19년도 10월 10일에, 파이토치 1.3이 업데이트 되었다.파이토치가 더 선호되면서도, 텐서플로우보다 모바일에서 배포하기 까다로운 단점이 여전히 있던 문제가 있었는데이제는 금번 업데이트로, 이론적으로 모바일에서도 배포하기 좋은 환경이 되었다! 이렇게 한 학기에도, 심지어 1~2주전에 다룬 내용이 outdated되는 걸 볼 수 있는게 바로 딥러닝 분야이다.!  우리는 지난 두번의 강의에 걸쳐 신경망 학습의 기본 전략(nuts and bolts)에 대해서 자세히 다루었다.이제 우리는 ConvN..

Neural Network을 학습시키는 전략에 대해서 다루어 보는 2번째 시간이다.   지난 시간에는 활성화 함수와, 데이터의 전처리, 가중치의 초기화, Regularization에 대해서 다루었고 이번 시간에는 Learning rate schedule, hyperparameter optimization과 같은 학습의 요소와 전략들과모델 앙상블(Model ensemble), 전이 학습(Transfer Learning), 배치 학습(large-batch training)에 대해서 다룬다.  첫번째로 살펴볼 것은 Learning Rate Schedule이다.                   constant learning rate schedule은 지금까지 적용해온 learning rate를 그대로인데, 처..

Neural Net을 학습시킬때 고려해야 할 요소들에 대해서 알아본다.   Neural Net을 학습시킬때는  학습 사전에 결정되어 진행되는 것들이 있고Learning rate schedule과 같이 학습중에 동적으로 변동되는 것들이 있으며훈련이 모두 마친후 모델 앙상블, 혹은 전이학습(Transfer Learning)과 같이 좀 더 downstream task로 나아가는 방법이 있다.  첫번째로 알아볼 것은 활성화 함수(Activation Function)이다.  NeuralNet에서 활성화 함수로서 선택할 수 있는 대표적인 선택지이다. 디테일에 대해서는 지난시간 내용을 다시 참고하길 바란다.   학습시 Acitvation Function을 Sigmoid함수로 설정했을때의 기능에 대해서 알아보자.Sig..

업계 필드에 나온 순간, 그들은 더이상 학생들이 아니다. 필드는 치열한 경쟁을 뚫고온 세렝게티의 하이애나들과도 같다. 그 속에서 너는 아직 손톱도 자라지 않은 햇병아리와도 같다.   아는 것이 정말 티끌에 불과함을 절실히 느끼고 있고, 취업했으니 끝이 아니라 더욱 더 치열하게 공부해야 될 것이라는 것을 어렴풋이 알고는 있었지만, 그 정도가 어떠해야 하는지를 뇌리에 깊게 심어준 영상 속 멘트였다. 보고서의 글자 자간이 어떻고 폰트를 어떻게 써야되고 강조 색을 어떻게 넣어야 되고 등의 피드백도 물론 중요하지만, 지식 노동자임을 잊어서는 안될 것이다.    ■ 영상 링크https://www.youtube.com/watch?v=EJDCtPmFgT4&ab_channel=%EB%9D%BC%EC%9D%BC%EB%A6..