플로라도의 data workout

나에게 2024년은 크게 세 시기를 기점으로 나눌 수 있다. 첫번째 시기는, 부트캠프를 수료하고 덩그러니 소속 없이 취업 준비한다는 막막함으로 보냈던 취업 준비 기간이었던 1월~3월의 기간과두번째는, 설레는 첫 회사에 입사한 순간,그리고 세번째는, 조직 개편으로 부서를 이동한 9월 이후이다. 각 기점마다 단순히 환경의 변화나 외부의 변주가 있었던 것 뿐만 아니라, 그들이 동인이 되어 나의 심적 고민들 또한 꽤 짙은 자국을 남긴 것 같다. 1. 취업전 1월~3월 당시에는 뚜렷한 목표로 하는 도메인이나, 회사 규모가 사실 잘 없었다.지금에서야 여러 주변 사례를 보면서 어느정도에 씨름이 되는지 어렴풋이나마 알 것 같지만 (실은 아직도 명확히는 모른다. AI, 데이터 분야를 아직 나는 단 5%도 제대로 이해하..

1장의 제목이기도 한 이 책의 첫 물음, '사람은 왜 존재해야 하는가?' 에 대한 답을 이 책이 제대로 주었다고 볼 수 있을까? 책은 '유전자'라는 매우 미세한 유전 물질의 단위로 기존과는 다른 관점으로 인간의 본성을 서술한다는 점에서 매우 흥미로운 주장으로 다가온건 사실이다. 그러나 모든 것이 사실은 유전자가 빚어낸 '본성' 이고, 살아가고자 하는 의지들 역시 이러한 본성에 종속된 것이라 설명하다가도, '인간은 뇌가 고도로 발달해서 때때로는 본성을 거부하기도 해.' 라는 식의 설명에 코에 걸면 코걸이 귀에 걸면 귀걸이와 같은 느낌을 받았다. 대표적인 의문은 이런 것이다. 유전자의 생존 본능은 왜 그들이 거주하는 껍데기인 개체를 옮겨가며 존재를 이어나가도록 설계 됐느냐 것이다. 개체를 옮기면 어린 개체가..

'MachineLearning' 카테고리를 'DataScience'로, 'DeepLearning'을 'VisionAI' 카테고리로 변경하였다. 사실 원래는, "머신"러닝이 데이터를 적합,근사하여 함수 또는 데이터를 학습한 모델을 만드는 것을 과정을 가리키는 단어 였고, 그 중 딥러닝은 인공신경망 모델에서 은닉층의 갯수가 Deep한, 즉 Shallow Neraul Network와 구별되어 은닉충의 갯수가 많은 모델을 학습하는 것을 말로 사용한 것이 그 시작이었는데 요즘은 사실상 ML 방법론과 통칭 딥러닝이라고 불리는 인공신경망은 구별되서 사용되고 있다. ML 방법론은 대게 데이터를 통한 의사결정을 위해 사용되고 있고, 딥러닝은 AI라고 불리는 task들을 수행하는 방법론으로 굳혀지고 있기 때문 따라서 각각..

"안구 구조상 사람은 옆이나 뒤를 볼 수 없으므로 고개를 돌리는 행위는 매우 중요하다." - 악의 마음을 읽는 자들 1. 대단한 자리는 아니지만, 나의 작년 23년 한해동안은 번듯한 직장인이라는 목표를 달성시켜준 이 자리를 위해 가삐 달렸다고 해도 과언이 아니다. 철부지였던 20대 시절의 청산과 함께 2년의 대학원 과정을 거쳐야만 취업된다는 이 바닥의 생리와 4년의 학부생 과정을 마친 전공자가 배출되는 시국에서, 비전공자 출신으로 이들을 뚫고 1년안에 독파하기 위해서 안간힘을 썼다. 돌이켜봐도 작년엔 절대적인 시간과 함께, 전체적인 양과 나름의 깊이를 신경써가면서 열심히 한 것은 정말 '팩트'다. 그러나, 지금 돌이켜보면 뭐 엄청 대단한 것을 한건 아니고, 그저 '기초 열심히 했다.' 정도로 치부되는게 ..

1. Concept Drift정의 : 시간이 지남에 따라 타겟 변수인 출력값이 변화하고, 그에 대한 분포가 변하는 현상, 즉 모델이 학습한 관계가 더 이상 미래 데이터에 적용되지 않는 경우 예시 : 예측하려는 고객의 행동 패턴이나, 주식 시장의 트렌드가 시간이 지나면서 달라지는 경우. 예를 들어, 한 시점에서는 고객이 A라는 상품을 선호했지만 시간이 지나면서 B라는 상품을 더 선호하게 되어 모델이 학습한 관계가 더 이상 유효하지 않게 되는 경우가 concept drift에 해당 문제 : 기존의 데이터로 학습한 모델은 잘못된 예측이나 의사결정을 할 수 있다. 2. Covariate Shift정의 : 입력 데이터의 분포가 변하지만, 타겟 변수인 출력값의 분포는 변하지 않는 현상. 예시 : 모델이 학습한 데..