플로라도의 data workout

1장의 제목이기도 한 이 책의 첫 물음, '사람은 왜 존재해야 하는가?' 에 대한 답을 이 책이 제대로 주었다고 볼 수 있을까? 책은 '유전자'라는 매우 미세한 유전 물질의 단위로 기존과는 다른 관점으로 인간의 본성을 서술한다는 점에서 매우 흥미로운 주장으로 다가온건 사실이다. 그러나 모든 것이 사실은 유전자가 빚어낸 '본성' 이고, 살아가고자 하는 의지들 역시 이러한 본성에 종속된 것이라 설명하다가도, '인간은 뇌가 고도로 발달해서 때때로는 본성을 거부하기도 해.' 라는 식의 설명에 코에 걸면 코걸이 귀에 걸면 귀걸이와 같은 느낌을 받았다. 대표적인 의문은 이런 것이다. 유전자의 생존 본능은 왜 그들이 거주하는 껍데기인 개체를 옮겨가며 존재를 이어나가도록 설계 됐느냐 것이다. 개체를 옮기면 어린 개체가..

'MachineLearning' 카테고리를 'DataScience'로, 'DeepLearning'을 'VisionAI' 카테고리로 변경하였다. 사실 원래는, "머신"러닝이 데이터를 적합,근사하여 함수 또는 데이터를 학습한 모델을 만드는 것을 과정을 가리키는 단어 였고, 그 중 딥러닝은 인공신경망 모델에서 은닉층의 갯수가 Deep한, 즉 Shallow Neraul Network와 구별되어 은닉충의 갯수가 많은 모델을 학습하는 것을 말로 사용한 것이 그 시작이었는데 요즘은 사실상 ML 방법론과 통칭 딥러닝이라고 불리는 인공신경망은 구별되서 사용되고 있다. ML 방법론은 대게 데이터를 통한 의사결정을 위해 사용되고 있고, 딥러닝은 AI라고 불리는 task들을 수행하는 방법론으로 굳혀지고 있기 때문 따라서 각각..

"안구 구조상 사람은 옆이나 뒤를 볼 수 없으므로 고개를 돌리는 행위는 매우 중요하다." - 악의 마음을 읽는 자들 1. 대단한 자리는 아니지만, 나의 작년 23년 한해동안은 번듯한 직장인이라는 목표를 달성시켜준 이 자리를 위해 가삐 달렸다고 해도 과언이 아니다. 철부지였던 20대 시절의 청산과 함께 2년의 대학원 과정을 거쳐야만 취업된다는 이 바닥의 생리와 4년의 학부생 과정을 마친 전공자가 배출되는 시국에서, 비전공자 출신으로 이들을 뚫고 1년안에 독파하기 위해서 안간힘을 썼다. 돌이켜봐도 작년엔 절대적인 시간과 함께, 전체적인 양과 나름의 깊이를 신경써가면서 열심히 한 것은 정말 '팩트'다. 그러나, 지금 돌이켜보면 뭐 엄청 대단한 것을 한건 아니고, 그저 '기초 열심히 했다.' 정도로 치부되는게 ..

1. Concept Drift정의 : 시간이 지남에 따라 타겟 변수인 출력값이 변하고, 그에 대한 분포가 변하는 현상, 즉 모델이 학습한 관계가 더 이상 미래 데이터에 적용되지 않는 경우 예시 : 예측하려는 고객의 행동 패턴이나, 주식 시장의 트렌드가 시간이 지나면서 달라지는 경우. 예를 들어, 한 시점에서는 고객이 A라는 상품을 선호했지만 시간이 지나면서 B라는 상품을 더 선호하게 되어 모델이 학습한 관계가 더 이상 유효하지 않게 되는 경우가 concept drift에 해당 문제 : 기존의 데이터로 학습한 모델은 잘못된 예측이나 의사결정을 할 수 있다.  2. Covariate Shift정의 : 입력 데이터의 분포가 변하지만, 타겟 변수인 출력값의 분포는 변하지 않는 현상. 예시 : 모델이 학습한 데이..

1. 사형 집행에 관한 찬반 논쟁, 현재 사형을 집행하지 않는이유는 무엇인가? 2. 워라벨을 효과적으로 분리할 수 있는 방법ㄴ 권일용씨처럼 일과 삶이 분리되지 않는 일상으로 점철된 나날을 보낼 수 있을까?ㄴ 페르소나, 일마다 다른 것 같다. 3. 용서의 주체는 누구인가? 피해자면 피의자를 용서할 수 있는가?ㄴ 불법행위를 목격한 제 3자, 직접적인 피해자가 아니면 상관이 없는건가? 사회 구성원으로서의 의미ㄴ 대한민국에서 형법과 민법을 따로 구분하는 이유 4. 법은 필수불가결한 것인가? 법을 바꾼다면 어떤식으로 바꿀 수 있을까?ㄴ 연속적인 세상의 요소를 불연속적인 법조문으로 전부 양자화 할수 있을까? 판사의 주관을 어디까지 허용해야 되는걸까?

사람은 자기가 볼 수 있는 것만 본다.안구 구조상 사람은 옆이나 뒤를 볼 수 없으므로 고개를 돌리는 행위는 매우 중요하다.지금까지 재밌게 본 드라마를 꼽으라면 나는 항상 주저 없이 '비밀의 숲', '시그널', '라이프  온 마스' 등의 추리물을 꼽는다.재밌게 읽었던 책으로도, 어렸을때 읽었던 셜록홈즈 시리즈라던가, 히사시노 게이고의 '용의자 X의 헌신, 가면 산장 살인사건, 미야베 미유키의 '화차', '모방범' 등의 추리물이 가장 먼저 떠오른다. 픽션들도 많고, 실화를 바탕으로 하더라도 어느정도 허구가 가미된 경우가 많아 이어지는 흐름에 대해 나름의 상상을 하고, 전개 과정과 비교하며 지켜보는 재미가 쏠쏠했을 까닭이다. 이번에 읽게된 책은 동일한 '추리물'이지만 추리 '소설'이 아닌 논픽션의 책이었다. ..

1.모델1-1. 가중치 로드 model.load(weight_path, map_location=device) # 코드 확인  1-2. 모델 객체 이동 확인 모델객체.to(device) # 코드 확인  1-3. 모델 평가모드 설정with torch.no_grad() 루프와  model.eval()모드 확인 2.  tensor이동'data(tensor).to(device)' 코드 확인 3. nn.DataParallel 삭제멀티-GPU 환경에서 학습한 스크립트 일부를 이용할시, 추론단계에서는 'nn.DataParallel' 관련 코드 삭제 model.to('cuda')model = nn.DataParallel(model)model.to('cuda') 과 의 model의 state_dict의 key값은 상이하..

(거의) 모든 것 파이토치의 DataLoader 클래스는 데이터셋을 다루기 위한 강력한 도구로, 모델 학습을 위한 배치(batch)를 생성하고 데이터를 불러오는(load) 작업을 관리하는 기능을 한다.각각의 인자(arugment)들은 데이터로더의 설정을 돕게 된다. DataLoader- Dataset에 대하여 data를 로드하는 iterative한 객체- 아래와 같은 argument를 받음import torchfrom torch.utils.data import Dataset, DataLoader, SequentialSampler, RandomSampler, SubsetRandomSampler, BatchSamplerDataLoader(dataset, batch_size=1, shuffle=False, s..

파이썬에서는 이미지 입출력(image I/O)를 처리하는 정말 많은 라이브러리와 함수들을 제공하고 있다. 특별히 opencv를 사용하면 이미지를 RGB의 형태가 아닌 BGR의 형태로 읽어 색상값이 뒤직박죽 섞여 이를 적절히 섞어줘야 한다던가 하는 테크닉이 필요한 것은 알았지만,이미지를 로드하는 라이브러리와 함수에 따라 이미지 픽셀값의 분포가 다르다던지(1), EXIF라고 하는 사진의 메타 데이터의 반영여부가 달라진다던지(2) 하는 차이점을 최근에서야 알게 되었다.   1. PIL/Pillow- PIL(Python Imaging Library)의 후속으로 유지보수 되고 있는 라이브러리, 원래의 라이브러리는 Python 1.5-2.7을 지원하며, 2011년 PIL 저장소에 대한 마지막 커밋으로 중단되어 Pi..

Object detection 논문에서 'Box regression' 이라는 표현이 등장하곤 하는데, 매번 등장할때마다 대충 넘어갔던 개념! 앵커박스와 바운딩박스의 이해를 바로 잡고자한다. 왜인지는 모르겠으나 필자 같은 경우 여기서의 Box를 당연히 (Bounding)Box Regression으로 생각했고, 이 때문에 이해가 뒤죽박죽이 되었다. Bounding-box Regression라고 이해한다면, 바운딩 박스의 Regression일까? 바운딩 박스로의 Regression일까? 주체인걸까 대상인걸까? 이것만 명확히해도 사실 헷갈릴 게 없었다. 필자는 'Box Regression'이라는 표현을 마주했을때 Box가 주체적인 단어라고 생각을 했기에 이러한 관점에서의 Box Regression은 사실 (An..