플로라도의 data workout

1. Soft Plus 함수 사용 $$y=log(1+e^x)$$  softplus 함수의 출력은, 양수값에서는 y=x에 근접한 모습을 음수 값에서는 0에 가까운 값을 보인다  2. exponential & log 트릭 사용 생성 모델, 베이지안 모델 등에서 output으로 양수 값인 std를 뱉어야 하는 과정에서 음수로 학습되는 것을 방지하기 위해 log_variance로 학습 하는 트릭 사용을 주로 사용한다.

1. Concept Drift정의 : 시간이 지남에 따라 타겟 변수인 출력값이 변화하고, 그에 대한 분포가 변하는 현상, 즉 모델이 학습한 관계가 더 이상 미래 데이터에 적용되지 않는 경우 예시 : 예측하려는 고객의 행동 패턴이나, 주식 시장의 트렌드가 시간이 지나면서 달라지는 경우. 예를 들어, 한 시점에서는 고객이 A라는 상품을 선호했지만 시간이 지나면서 B라는 상품을 더 선호하게 되어 모델이 학습한 관계가 더 이상 유효하지 않게 되는 경우가 concept drift에 해당 문제 : 기존의 데이터로 학습한 모델은 잘못된 예측이나 의사결정을 할 수 있다. 2. Covariate Shift정의 : 입력 데이터의 분포가 변하지만, 타겟 변수인 출력값의 분포는 변하지 않는 현상. 예시 : 모델이 학습한 데..

Regularziation은 머신러닝,딥러닝에서 모델이 학습 데이터에만 오버피팅되지 않도록 방지하는 기법으로 알려져 있다. 그러나 Regularziation 테크닉(weight decay의 방법인 L1, L2 Regularziation)은  오버피팅을 방지할 뿐만 아니라, human knowledge를 prior로서 반영할 수 있다. (Expressing Preferences)  L1 & L2 Regularization as Prior결론만 이야기 하자면,  L1 Regularization을 부여하는 것은 베이지안 통계학의 관점에서 가중치에 대한 사전 분포로 Laplace distribution Prior를 부여하는 것과 같다.  기존 머신러닝 관점에서의 L1 Regularization은 모델의 Loss..

"Linear models love normally distributed data"   캐글 커널에서 마주한 "Linear models love normally distributed data." 라는 문장의 맥락을 파헤쳐 보고자한다.선형 모델들과 정규적인 분포의 데이터우 무슨 관계가 있길래 'love'라는 과감한 비유까지 든걸까?  우선 데이터의 분포라는 것은 통계 모델, 혹은 머신러닝 모델에서 독립변수와 종속변수, 설명변수와 반응변수 혹은 feature X와 target y도 불리는 예측 대상인  ①$y$값의 분포가 있고,각 데이터 포인트의 특성(feature)의 집합인, ②$X$에 대한 분포가 있다.(통상 예측 대상인 $y$는 스칼라이기에 소문자를 취하고, 독립 변수는 feature set이라고 불리..

1. 선형성(Linearity) 독립변수와 종속변수, 설명변수와 응답변수, 다시말해 데이터 과학에서의 피처의 집합인 $X$와 타겟 값 $y$가 선형적인 관계를 가져야만 한다. 가장 잘 피팅된 선형 회귀 모델은 곧은 직선 형태임으로, 가장 직관적인 특징이다.여기서 선형은 $X$와 $y$간의 "관계"의 선형성, 즉 파라미터의 선형성을 일컫는 말로독립변수$X$의 선형과는 관계가 없다. 종종 독립변수 $X$에 제곱이나 혹은 교차항(interaction)을 추가하기도 하는데 이는 다항 회귀(Polynomial Regression)으로 불린다.   조금 더 부연하자면, 피처의 집합인 $X$와 타겟 값 $y$가 선형적인 관계를 가져야만 하는 이유는 애초에 선형모델이 해당 가정하에 설계된 모델(inductive bia..