플로라도의 data workout

이번시간에는 CNN의 아키텍쳐에 대해서 다뤄본다. 게시물 작성 시점인 2024년 기준으로 강의 내용에서 소개된 모델 이외에도, 더욱 효율적이고 정확도면에서 우수한 모델들이 다수 발표되었고(2019년, EfficientNet) 2020년 VisionTransformer의 발표 이후에는 ViT계열 모델들이 매우 대두되던 시기가 있었다. (2020년; DETR, 2021년 ; SwinTransformer) 하지만 Transformer계열 모델들은 리소스가 크고 학습양을 상당히 필요로 하기 때문에, 이후 다시 CNN계열로 Transformer계열을 잡을 수 있지 않을까? 하는 생각으로 CNN계열 모델이 다시금 연구되었다. (ConvNext, ResNest) 하지만 모든 CNN계열의 아키텍쳐들은 이전 모델들의 아..

오늘 강의의 주제는 이미지 처리 분야의 가장 메이저한 모델인 Convolutional Networks이다. 지난 강에서는 Backpropagation 알고리즘에 대해 배웠다. 복잡한 네트워크 구조의 gradient를 전부 계산하는 것이 아니라 저장된 forward pass의 정보를 이용하여 local한 연산을 통해 gradient를 계산하는 방식이다. 또한 이러한 방식을 활용하는 방법 중, Modular API방식으로 활용하는 것을 배웠다. 다음으로는 Linear Classifier과 신경망의 Fully connected Linear Classifier에 대해서 배웠다. 많은 함수를 표현할 수 있는 강력한 성질이 있지만, 두 모델의 구조 모두 2D의 공간적 구조를 고려하지 못하고 input RGB이미지를..

이번 강은 Backprogation(역전파)에 대해서 다룬다. 지금까지의 내용은 Linear Classification의 한계를 넘어서는 NeuralNet의 특징, Space Warping과 Activation fucntion을 추가하여 비선형적인 표현을 할 수 있는 것, Universal Approximation에 대한 개념과 신경망의 Loss surface는 다양한 형태의 Non-convex function으로 존재함에도 불구하고 optimization되어 실전에서 어떻게든 작동한다고 배웠다. 또한 위와 같은 loss function으로 현재의 가중치에 대한 happiness or unhapiniess를 표현하고, SGD와 같은 알고리즘으로 가중치를 업데이트 한다고 배웠다. 여기서 문제는 gradie..

약 2달간 데이터 사이언티스트/AI 엔지니어 직군에 해당하는 60개 정도의 채용공고에 서류를 냈고, 지금까지 5개 회사에 서류 합격을 했으며, 2차례의 과제 전형과 2차례의 입원 면접을 진행하였습니다. 암담한 서류 합격률에 좌절하기도 했지만 결론적으로는 제 분에 넘치는 1승을 달성하면서 좋지 않은 감정들은 덮고 앞으로 감사한 마음에 더 열심히 해야겠다는 각오를 다집니다. 지난 면접 과정을 복기해보면, 거의 대부분 정답에 가까운 답변을 하였지만 작성일 기준 비전공자 학사 출신이라는 점이 줄곧 들어왔던 대로 발목을 여러번 잡긴 했던 것 같습니다. 실제로 답변을 잘 하더라도 논문 구현이나, 개발 역량 관련해서는 스스로 부족하다고 느끼기에 이 부분은 앞으로도 더 채워나가야 될것같습니다. 아무튼 비전공자 출신으로..

이번 강의 주제는 드디어 Neural Networks(신경망)이다. 지금 까지 배운 내용에 대한 요약이다. 1. 먼저 우리는 knn과 같은 non-parametric classifier가 아닌, parametric classifier를 만들기 위해서 Linear model에 대해서 다뤘다. 2. 다양한 weight의 세팅에 대해서 우리의 happiness or unhappiess를 표현하기 위한 수단인 loss function에 대해서 다뤘다. 3. 그 다음 weight를 업데이트 하는 방법인 Iterative method - gradient descent의 변형들 (SGD+momentum 그리고 Adam , RMSProp) 등의 optimization에 대해서 배웠다. 우리는 다시 1번에서 등장한 Li..