2강 분류 :: MLE / MAP  MLE(Macinum Likelihood Estimation)우도확률(likelihood)우도확률을 최대화 하겠다.정규분포를 표현하기 위한 파라미터->평균과 분산평균과 분산을 사용해서 데이터가 나올 수 있는 확률을 PDF로 계산샘플이 1부터 n개로 표현될 때, 각각의 모든 데이터들에 대한 PDF 확률이 존재할 것이다. 모든 데이터들에 대한 PDF 값들을 곱해준 것 MLE : 최대 우도 추정법 : 우도 확률을 최대로 만드는 파라미터데이터가 많으면 많을수록 더 좋은 성질을 띈다 MAP : 최대 사후 확률데이터가 주어진 상황에서 가장 출현(w라는 가설)할 수 있는 확률.모르는 것이 w. 베이즈 정리를 사용해야한다. 로지스틱회귀같은 경우 MLE를 사용함.사전확률분포를 가정. ..

메타코드의 머신러닝 강의입니다. 2강 분류 :: Logistic Regression 이번 강의에서는 분류 모델에 대해 배운다. 분류 모델에 관련하여 앞으로 배울 것들.  회귀vs분류지도학습(y존재)의 종류가 연속값의 형태인지 이산값의 형태인지.분류보델에서는 이진 분류라면 시그모이드 함수를 사용하고 다중 분류라면 소프트맥스함수를 사용한다.  회귀->라벨의 값이 100이면 연속형의 값에다가 라벨을 부여해줬을때 라벨값이 10으로 도출되면 (100-10)의 제곱의 손실. 라벨값이 1이면 (1-10)의 제곱의 손실. 손실이 큰 100라벨 값에 대해서는 더 잘 학습하려고 하지만 10라벨에 대해서는 굳이 잘 안맞추려고 하는 문제점 생김.=> 다른 손실 함수 필요 => 범주형 라벨링숫자의 크기값이 중요한 것이 아니라 ..

1강 회귀 :: Validation Data  검증데이터셋검증데이터와 평가데이터의 가장 큰 차이점 -> 학습시에 볼 수 있느냐둘 다 모델의 학습에는 참여를 못한다. 검증데이터셋은 학습 중간중감에 계속해서 평가를 하게 해준다. 오버피팅이슈를 막기 위해. LOOCV->검증된 데이터셋을 잘 나누어 주고 검증데이터셋을 딱 한번만 돌려서 검증데이터셋에 대해서 가장 좋은 성과를 보이는 모델파라미터를 고정하여 평가데이터셋을 돌리면 결과가 좋을수도 나쁠수도 있다. 왜냐하면 한번만 했기 때문에,->데이터 한개를 검증데이터셋으로 만들어보자.(모델파라미터를 없애고)->n번에 대해 평균을 내림(평가데이터와의 차이)->n번이 만개 3만개가 되고 모델이 5개가 있다면 각 모델은 n번을 계산해야 해서 계산비용이 너무 커짐.=>k-..

1강 회귀 :: Bias and variance Trade-off  편형과 분산문제점과 해결방법에 어떤 것이 있는지 배운다. 학습데이터와 평가데이터로 나눌 수 있다. 평가데이터는 절대로 모델 학습에 사용하면 안된다!!!! -> 과접합이 일어나서?보통 전체 데이터의 10%~20%를 평가데이터로 사용한다.랜덤샘플링 과정을 거쳐서 평가데이터를 만든다. 비슷한 분포를 가지게 됨. 모델의 복잡도란?-선형모델이 있을때, 선형모델의 파라미터는 기울기와 절편이라는 2가지의 파라미터가 존재한다. 이차함수의 형태의 비선형 모델을 만들었다고 가정하면, 이 모델의 파라미터는 3가지가 된다. 선형모델에서 비선형모델로 넘어갈 수록 파라미터가 증가한다.-> 데이터의 학습을 더 완벽하게 할 수 있게됨. 모델이 복잡하다 => 파라미터..

1강 회귀 :: Gradient Descent  이번 강의에서는 그 유명한 경사하강법에 대해 배운다. 복잡한 함수의 경우 최소제곱법으로 해결이 어려움.행렬의 역행렬을 구하는 것도 계산 비용이 많이 든다. 2행렬과 100행렬을 계산하는 경우 50배가 느는 것이 아니라 기하급수적으로 계산비용이 든다.경사하강법- 경사를 하강한다. 손실한수가 있을때 손실함수 값을 최소화하는 방법. 경사하강법함수의 최솟값은 무조건 순간 변화율이 0이다!!슈도 코드손실함수에 대한 미분값. a0에대한 편미분값이 3이 나올때, 순간변화율이 3이라는 것은 a0가 순각적으로 커졌을경우 3이 플러스된다는 의미. 우리는 손실함수값을 줄이는 것이 목적. -를 붙여줌.마이너스를 해주어야 손실함수값이 낮아지는곳으로 가게 됨. 미분값의 반대방향으로..

1강 회귀 :: Least square method optimal -> *로 표현optimization -> W0*을 뽑아내는 것 편미분원하는 변수에 대해서만 미분. 다른 것들은 상수로 취급.델타로 표현. 연쇄법칙미분을 한다고 가정할때,미분을 표현하는 식은 분수 형태임. du/du 를 곱해줌.u라는 새로운 변수를 도입을 시켜서 y에 대해서 u로 미분하고(step1), u에 대해서 x로 미분하는 것(step2)2가지 step으로 쪼개보는 것. 손실함수에 대해서 정의할 수 있어야 함. (어떤 문제를 정의하였고 어떤 모델을 정의한 이후에)문제에 대한 손실함수.회귀문제에 어울리는 회쉬함수가 존재하고 분류문제에 어울리는 손실함수가 존재함. 분류문제는 다음시간에회귀문제에서는 MSE가 쓰임 평균 제곱 오차(MSE)실..