이어드림스쿨 3기 - 17주차 회고

현직자들과 취업하신 작년 선배기수의 알찬 강연으로 이루어진
이어드림 컨퍼런스가 지난 10일 진행되었다.
(무려 호텔 뷔페를! 얼마만인거야!)
 
가장 궁금했던, 이어드림 생활을 어떻게 하는게 슬기롭게 하는걸까?
어떻게 하셔서 취업에 골인하신걸까?
그럼 나의 우선순위가 어떻게 되어야할까?
 
에 대한 질문들의 답을 찾기 위하여 이곳 저곳 돌아 다니고,
현직자 상담에서는 대학원 진학에 대한 사견을 물었던것 같다.
(이제와서야 clear하게 일단락 된거같다.)
 
비슷하게 생각 해왔던 것들에 대해선 생각이 굳건해지고, 
좋은 영향을 받기에 충분했던 시간이었던것 같다.
 
그리고 지금은 2일간의 방학이 주어진 상태!
목요일부터, 주말까지 하여 모처럼의 4일간의 휴가가 주어졌다.
(뭐하지...? 그냥 하던거나...마저... ....)
 
 
지난 회고 이후로 3주간 무엇을 했는고 하면,
딥러닝과 리눅스(우분투) 기초과정 모듈을 마쳤다.
머신러닝 과정보다 짧은 시간이었으나, 기간동안 느끼는 체감 난이도는 더욱 상당했던 것 같다.
 
우리 뇌의 뉴런을 모사한 퍼셉트론 구조를 시작으로,
이들을 엮은 , Multi layer perceptron @ka ,MLP, 특별히 shallow 모델!
그리고 더 나아가 layer들을 여러개 만들어서 쌓은 deep neural netwrok로
하지만 이들만을 가지고서는 해결할 수 없는 XOR problem, 
이를 해결하기 위한 activation function들 (자극에 대한 반응을 모사하고 싶다.!) ,
그리고 결론적인 문제의 해결을 위한 output function,
 
기본적인 딥러닝 구조에 대한 개괄을 배웠고 
 
이렇게 배우고 나니
왜 시작이 선형회귀이며, 또 한번 선형회귀인지, 그리고 끝이 왜 선형회귀인지 딥러닝에 와서 깨달았다.
 
이후의 조금 더 발전된 형태의 모델들,
회백질에 꽂히는것을 그대로 모사하고싶은 , CNN을 VGGNet의 예시로 배웠고
강력한 성능의 GoogleNet, ResNet 등이 있다는것도 알았다. (추가적인 학습이 필요하다.)
 
재귀적인 방법을 도입한 모델인 RNN
기억 소실문제를 접근한 LSTM
BiLSTM 까지 개괄적으로 배웠지만, 여전히 자세한 이해와 학습이 더 필요한 상황
 
사이킷런과 마찬가지로
아직은 활용이 어려워 섣불리 말하긴 어렵지만, 파이토치가 사이킷런과 같이 사용자 친화적으로
엄청 잘 구현되어 있는것 같고,
pythonic한 부분이 너무 맘에 든다.
파이썬 처음 공부할때 처럼, 익숙해지면 너무 좋지 않을까? 라는 생각이 든다.
다른 라이브러리보다 파이토치를 먼저 접해서, 혹은 전해 들은 얘기만으로 하는 생각이지만,
파이토치의 특징적인 부분들이 텐서플로우와 케라스보다도 더욱 맘에 든다.
 
그래도 이제 조금은 설명가능한 머신러닝에 비해,
딥러닝의 개별 모델들에 대하여 전혀 무지하고,
존재 자체도 모르고 있다가,
 
이런저러한 것들을 새로이 알게되고, 좋기도 하지만
pretrained model fine tuning까지 , 최신 SOTA 까지의 가는 과정은 아직 멀은것을 알게되어
해야할것, 공부해야할 것들이 자꾸 추가되고 쌓이는 부담감이 생기는건 어쩔 수 없는것 같다.
 
그리고 AWS를 처음으로 사용해보았다. ubuntu와 AWS 리눅스 쉘을 사용하고, 웹페이지를 띄워보는 실습했다.
여러가지 CS관련 용어들이 난무할때마다 정신이 혼미하여 CS 공부의 필요성이 느껴졌다. (멘탈을 위해서라도...)
간단한 실습이지만, 생소한 모두가 다같이 진행하다보니 속도가 더딘 부분도 있었고, 아쉬웠던 부분들도 있는것 같다.
아무튼 실습으로 AWS,AWS하는데 그놈의 AWS가뭔지, 우분투와 리눅스가 뭔지는 알게 된것 같다.
(인간적으로 AWS 서비스 종류가 너무 많은게 아닌가 싶다....)
   
수업시간 외에 논문 리뷰를 처음으로 진행하였는데, 
현재 first-order pereference인 SGD와 AdamW에 대한 이해와 AdamW까지 의 과정의 이해를 목적으로
(Gradient Descent -> Stochastic Descent -> Momentum -> Nesterov Momentum -> Adagrad -> RMSprop -> Adadelta -> Adam  ==> Adamw ) 
an overview of gradient descent optimization algorithms (https://arxiv.org/abs/1609.04747) , Optimizer 개괄에 대한 리뷰를 진행하였다. 
Adadelta와 Adam은 아직 직관적인 이해부터 되지 않아서 추가적으로 살펴봐야 될것 같다.
 
 
 
그리고 이후 18주차부터 DS/DE 트랙으로 과정이 나뉘게 된다.
아마도 기본적인 이론들의 점검 이후에 CV,NLP,추천 시스템,텍스트 마이닝 등 세분화해서 배우고
경진대회 등을 추가적으로 진행하는것으로 알고 있는데,  매우 기대되는 와중이다.! 
난 어떻게 이걸 진짜 혼자 할 생각을했지...? (물론 전혀 시도도 안했지만)
아직은 모자람이 많지만 잘 적응 해서, 끝에서는 꼭 잘했으면 좋겠다.
 
트랙이 나뉘면서 자리를 바꾸게 되었는데
옆사람이 없이 + 통로 자리라 넓게 펑펑쓰다가 새로운 자리로 이동하였다.
어떻게 운이 좋게(?) 주변 친한분들이랑 배정이 되었다. 
같이 으쌰으쌰해서 이후의 과정도 격파해 나가야지.
살짝 모습을 내비췄던 매너리즘아 물러가거라.
 
본격 이어드림 스쿨 2학기의 개막이다. 
 
(어쩌다 블로그 쓰는 이야기도 나왔는데, 아직은 일기장에 불과하지만 여유가 되는대로 잘 정리해서 알찬 내용으로 엮어나가야지 싶다 .)