1강 회귀 :: Validation Data  검증데이터셋검증데이터와 평가데이터의 가장 큰 차이점 -> 학습시에 볼 수 있느냐둘 다 모델의 학습에는 참여를 못한다. 검증데이터셋은 학습 중간중감에 계속해서 평가를 하게 해준다. 오버피팅이슈를 막기 위해. LOOCV->검증된 데이터셋을 잘 나누어 주고 검증데이터셋을 딱 한번만 돌려서 검증데이터셋에 대해서 가장 좋은 성과를 보이는 모델파라미터를 고정하여 평가데이터셋을 돌리면 결과가 좋을수도 나쁠수도 있다. 왜냐하면 한번만 했기 때문에,->데이터 한개를 검증데이터셋으로 만들어보자.(모델파라미터를 없애고)->n번에 대해 평균을 내림(평가데이터와의 차이)->n번이 만개 3만개가 되고 모델이 5개가 있다면 각 모델은 n번을 계산해야 해서 계산비용이 너무 커짐.=>k-..

1강 회귀 :: Bias and variance Trade-off  편형과 분산문제점과 해결방법에 어떤 것이 있는지 배운다. 학습데이터와 평가데이터로 나눌 수 있다. 평가데이터는 절대로 모델 학습에 사용하면 안된다!!!! -> 과접합이 일어나서?보통 전체 데이터의 10%~20%를 평가데이터로 사용한다.랜덤샘플링 과정을 거쳐서 평가데이터를 만든다. 비슷한 분포를 가지게 됨. 모델의 복잡도란?-선형모델이 있을때, 선형모델의 파라미터는 기울기와 절편이라는 2가지의 파라미터가 존재한다. 이차함수의 형태의 비선형 모델을 만들었다고 가정하면, 이 모델의 파라미터는 3가지가 된다. 선형모델에서 비선형모델로 넘어갈 수록 파라미터가 증가한다.-> 데이터의 학습을 더 완벽하게 할 수 있게됨. 모델이 복잡하다 => 파라미터..

1강 회귀 :: Gradient Descent  이번 강의에서는 그 유명한 경사하강법에 대해 배운다. 복잡한 함수의 경우 최소제곱법으로 해결이 어려움.행렬의 역행렬을 구하는 것도 계산 비용이 많이 든다. 2행렬과 100행렬을 계산하는 경우 50배가 느는 것이 아니라 기하급수적으로 계산비용이 든다.경사하강법- 경사를 하강한다. 손실한수가 있을때 손실함수 값을 최소화하는 방법. 경사하강법함수의 최솟값은 무조건 순간 변화율이 0이다!!슈도 코드손실함수에 대한 미분값. a0에대한 편미분값이 3이 나올때, 순간변화율이 3이라는 것은 a0가 순각적으로 커졌을경우 3이 플러스된다는 의미. 우리는 손실함수값을 줄이는 것이 목적. -를 붙여줌.마이너스를 해주어야 손실함수값이 낮아지는곳으로 가게 됨. 미분값의 반대방향으로..

1강 회귀 :: Least square method optimal -> *로 표현optimization -> W0*을 뽑아내는 것 편미분원하는 변수에 대해서만 미분. 다른 것들은 상수로 취급.델타로 표현. 연쇄법칙미분을 한다고 가정할때,미분을 표현하는 식은 분수 형태임. du/du 를 곱해줌.u라는 새로운 변수를 도입을 시켜서 y에 대해서 u로 미분하고(step1), u에 대해서 x로 미분하는 것(step2)2가지 step으로 쪼개보는 것. 손실함수에 대해서 정의할 수 있어야 함. (어떤 문제를 정의하였고 어떤 모델을 정의한 이후에)문제에 대한 손실함수.회귀문제에 어울리는 회쉬함수가 존재하고 분류문제에 어울리는 손실함수가 존재함. 분류문제는 다음시간에회귀문제에서는 MSE가 쓰임 평균 제곱 오차(MSE)실..

1강 회귀 :: Linear Regression   단순선형회귀-피처의 종류가 한 개인 데이터에 대한 회귀 모델다중선형회귀-피처의 종류가 여러 개인 데이터에 대한 회귀  모델다항회쉬-독립변수의 차수를 높인 회귀 모델 ->여기서 선형이란 선형비선형이랑은 다름. 3차원으로 보면 선형이지만 2차원에서는 비선형처럼 보임.  데이터 입력을 받았을때 가장 먼저 할 수 있어야 하는 일은 피처인 x가 무엇이고 라벨인 y가 무엇인지 구분할 수 있어야 하는 것.정답지(라벨)가 실수 형태냐 범주 형태냐를 따질 수 있어야 함.실수 형태이기 때문에 회귀문제로 풀어야 함.모델에 대한 정의는 피처의 개수에 따라 결정. => 단순 또는 다항 회귀(다항 단순 선형회귀) . 피처가 x로 1개이기 때문   단순회귀라고 생각했을때.정의한 ..

이번 시간에는 머신러닝을 배울때 필요한 수학개녕을 배운다. 1강 회귀 :: Basic Math for ML ♣결정경계 경계를 나누는 선이 선형이냐 비선형이냐를 본다. 결정경계가 일직선이면 선형이고 꾸불꾸불한 비선형이다. 이것은 회귀모델의 선형 모델,비션형 모델의 선형, 비선형과는 다르다. 회귀모델의 선형,비선형은 모양이라기모다는 데이터와 파라미터 사이가 선형적인 사이로 결합이 되어있냐 아니냐를 말한다. ♣ 함수. 두 집합 사이의 관계, 혹은 규칙을 찾아주는, 맵핑해주는 것을 말한다. 입력되는값을 x로 축력값을 y로 표현한다. 함수는 function의 f로 표현한다. 피처 부분과 라벨을 표현하는 완벽한 관계가 존재할 것이다. 그러한 상황을 표현하기 위해서 y=f(x)로 표현. ♣ 일차함수 y가 x의 일차식..