목록기초 노트/DataScience (11)
플로라도의 data workout
경사하강법 (gradient desecent) vs 뉴턴-랩슨 방법 (Newton–Raphson method)
Claim1) 뉴턴 랩슨의 방법은 두 번 미분하는 과정이 필요하다. 계산량이 많다. 경사 하강법이 더 일반적이다!? 수업시간에 들었던 이야기다. 경사하강법과 뉴턴-랩슨의 방법에 대한 정리와 함께 Claim1에 대한 이해와 해결을 해보려고 한다. 경사하강법(graident decent)와 뉴턴 랩슨의 방법(Newton-Raphson method)는 모두 기계학습의 Learning Rule에 해당하는 이야기 이다. 모델이 어떻게 파라미터를 최적화 시키도록 할것인가? 지시하는 Rule이라고 할 수 있겠다. 머신러닝의 가장 기본적인 모형인 선형회귀와 로지스틱회귀를 생각해보자. 선형회귀에서는 비용함수를 최소화 하는방법으로 기본적으로 (1)정규 방정식, (2)경사하강법을 사용하게 된다. 로지스틱회귀(Logistic..
기초 노트/DataScience
2023. 7. 1. 12:35