플로라도의 data workout

영어 강좌나 논문에서 marginalize라는 표현을 자주 마주하게 되는데, 매번 헷갈려와서 정확한 의미를 정리하고자 한다. "marginalize"는 통계학과 확률론에서 주로 사용되는 말로, 하나 또는 그 이상의 변수의 확률분포를 얻기 위해 다변수 확률 분포에서 일부 변수의 영향을 "제거"하는 과정을 의미한다. 이 과정은 다변수 시스템에서 특정 변수에만 집중하고자 할 때 사용된다. Marginalize? 예를 들어, 두 변수 $X$와 $Y$가 있는 결합 확률 분포 $P(X,Y)$가 있다고 가정해보자. 만약 변수 $Y$에 대해서만 관심이 있고, $X$의 영향을 무시하고자 한다면, $X$에 대해 marginalization을 수행하여 $Y$의 주변 확률 분포(marginal probability distr..

신뢰수준(confidence level)은 아마도 고교 통계 시간에서부터 접하는 개념으로, 데이터 사이언스 분야에서는 파라미터의 추정치에 관하여 신뢰할 수 있는 정도를 알고자 할때 사용되곤 하는 것 같다. 그런데 여기서 신뢰(confidence)라는 것은 사실은 묘한 뉘앙스인 것이 정확(precise)과 믿을 수 있는(reliable)것의 중간적인 성격이다. 신뢰수준이라는 개념을 배울때 처음에 반드시 헷갈리는것이 "신뢰수준 95%의 의미는 신뢰구간에 95%의 확률로 모평균이 포함될것이다." 라는 해석을 내놓는 것이다. 이 말의 의미를 조금 더 살펴보면, 95%확률이라는 것은 대게 100번중 95번은 모평균이 저 신뢰구간에 포함될 수 있다는 말인데, 어떻게 결정된 값인 모평균이 확률적으로 저 구간에 포함될..

샘플링, 표본추출이 무엇인가? 샘플링(Sampling)은 전체 모집단에 대해서 표본 추출하는 것인데, 이러한 모집단으로부터의 데이터 수집은 비용이 발생할 뿐만 아니라 Sampling Bias가 발생하며, 뽑힌 표본은 어떠한 모집단도 정확히 대변한다는 보장이 없다. 그럼에도 불구하고, 표본을 통하여 데이터를 살펴보는 이유는 무엇일까? 이것은 마치 우리가 요리할때 음식의 간을 보는 것과 같다. 예를 들어, 국을 끓이는 상황에서 우리는 단지 국자로 한스푼 뜬 후 맛을 본뒤 '잘 되었네!' 라며 , 마치 전체 국의 맛이 괜찮을거라고 장담한다. 국자 한스푼에 담긴것이 표본과 같다. 표본(한 스푼)이 전체 모집단(국)의 성질인 맛(통계량)을 대변하는 것이다. 앞서 말했듯이, 국자 한스푼이 정확히 전체 국의 맛을 대..

어떠한 정방 행렬 $A$ $(n \times n)$ 에 의해 특정 벡터 $x$ $(n \times 1)$은 선형변환이 된 이후에도 여전히 그 방향이 평행한 경우가 있다. 이 때, 그 특정 벡터 $x$를 고유 벡터$(eigen vector)$라고 하고, 변하는 크기의 정도를 고윳값 $(eigen value)$라고 한다. 주성분 분석(PCA), 선형판별분석(LDA), 시계열분석의 주요 추세와 패턴, 고전적인 이미지 처리, 추천시스템 등에서 행렬을 분해하는 기법으로써 널리 사용되고 있다. Reference) 데이터 사이언스 인터뷰 질문 : https://github.com/zzsza/Datascience-Interview-Questions GitHub - zzsza/Datascience-Interview-Qu..

여러분들은 아마도 여러번 "확률(Probability)"이 무엇인가에 대해서 질문을 받거나, 간혹 생각해볼 기회가 있었을 것이다. 그럴때마다 아마 적당히 무어라고 대답하고 넘어갔던 기억은 나는데 그 내용 자체는 잘 기억이 나지 않을 것 같다. 일전에 수학적 확률의 정의와 근원사건 그리고 표본공간에 대한 이야기를 하였는데 이번에는 좀 더 철학적인 접근에 대해서 이야기 해보려고 한다. https://ploradoaa.tistory.com/4 수학적 확률의 정의와 근원사건 : 주사위의 눈이 1이 나올 확률은 정말 1/6인가? 보통 우리가 확률을 이야기 할때, 주사위 던지기 게임, 동전던지기 게임을 예시로 많이 든다. 가장 명료하면서도 확률의 여러 개념들을 포괄하는 예시이기 때문이다. 가장 처음에, 누구에게나 ..

어떤 x,y가 위와 같은 2차원 유클리드 공간에 속하는 녀석이라고 하자. 일변수 스칼라 함수 e.g. - $y=x^2$ , $y=cos(x)$, $y=e^x$, $y=log(x)$ - 우리가 잘 아는 다항함수 뿐만 아니라, 삼각함수,지수함수,로그함수 등의 초월함수도 포함된다. 일변수 스칼라 함수는 {x} -> {y} 로 대응 되는것을 표현하는것인데, 이 '대응'이라는 것은 다시 말해, 독립변수 $x$가, 종속변수 $y$로 어떤 함수 $f$ 에 의해서 매핑 되는 것 이라고 생각하면 된다. 즉, 독립변수 $x$가 종속변수 $y$로 매핑되는 것이다. 일변수 벡터 함수 일변수 벡터함수는 일변수 스칼라 함수와 다르게 입력값이 일변수인것은 같지만 출력이 여러개로 나타난다. {t} -> {x,y,z} 로 대응이 된다..

보통 우리가 확률을 이야기 할때, 주사위 던지기 게임, 동전던지기 게임을 예시로 많이 든다. 가장 명료하면서도 확률의 여러 개념들을 포괄하는 예시이기 때문이다. 가장 처음에, 누구에게나 하는 질문이 이거다. 주사위를 던졌을 때 주사위 눈이 1이 나올 확률은 몇일까? 보통은 이렇다, "잘 알고 있듯이 1/6입니다. 여러분은 확률을 잘 알고 있습니다~" 우리가 지금껏 배워왔던 대부분의 확률은 이러했고, 우리는 확률과 아주 친숙함을 주입되어왔다. 그런데, 정말 주사위 1의 눈이 나올 확률이 1/6이라고 보장 할 수 있을까? 사실은, 주사위에 누군가 임의의 조작을 걸어서 정육면체의 큐브형 주사위가 아니라 '1'의 면이 울퉁불퉁해서 다른면 보다 덜 나오게 세팅이 되었다고 한다면.. 그래도 1/6이라고 말 할 수 ..