2강 분류 :: MLE / MAP  MLE(Macinum Likelihood Estimation)우도확률(likelihood)우도확률을 최대화 하겠다.정규분포를 표현하기 위한 파라미터->평균과 분산평균과 분산을 사용해서 데이터가 나올 수 있는 확률을 PDF로 계산샘플이 1부터 n개로 표현될 때, 각각의 모든 데이터들에 대한 PDF 확률이 존재할 것이다. 모든 데이터들에 대한 PDF 값들을 곱해준 것 MLE : 최대 우도 추정법 : 우도 확률을 최대로 만드는 파라미터데이터가 많으면 많을수록 더 좋은 성질을 띈다 MAP : 최대 사후 확률데이터가 주어진 상황에서 가장 출현(w라는 가설)할 수 있는 확률.모르는 것이 w. 베이즈 정리를 사용해야한다. 로지스틱회귀같은 경우 MLE를 사용함.사전확률분포를 가정. ..

메타코드의 머신러닝 강의입니다. 2강 분류 :: Logistic Regression 이번 강의에서는 분류 모델에 대해 배운다. 분류 모델에 관련하여 앞으로 배울 것들.  회귀vs분류지도학습(y존재)의 종류가 연속값의 형태인지 이산값의 형태인지.분류보델에서는 이진 분류라면 시그모이드 함수를 사용하고 다중 분류라면 소프트맥스함수를 사용한다.  회귀->라벨의 값이 100이면 연속형의 값에다가 라벨을 부여해줬을때 라벨값이 10으로 도출되면 (100-10)의 제곱의 손실. 라벨값이 1이면 (1-10)의 제곱의 손실. 손실이 큰 100라벨 값에 대해서는 더 잘 학습하려고 하지만 10라벨에 대해서는 굳이 잘 안맞추려고 하는 문제점 생김.=> 다른 손실 함수 필요 => 범주형 라벨링숫자의 크기값이 중요한 것이 아니라 ..

1강 회귀 :: Validation Data  검증데이터셋검증데이터와 평가데이터의 가장 큰 차이점 -> 학습시에 볼 수 있느냐둘 다 모델의 학습에는 참여를 못한다. 검증데이터셋은 학습 중간중감에 계속해서 평가를 하게 해준다. 오버피팅이슈를 막기 위해. LOOCV->검증된 데이터셋을 잘 나누어 주고 검증데이터셋을 딱 한번만 돌려서 검증데이터셋에 대해서 가장 좋은 성과를 보이는 모델파라미터를 고정하여 평가데이터셋을 돌리면 결과가 좋을수도 나쁠수도 있다. 왜냐하면 한번만 했기 때문에,->데이터 한개를 검증데이터셋으로 만들어보자.(모델파라미터를 없애고)->n번에 대해 평균을 내림(평가데이터와의 차이)->n번이 만개 3만개가 되고 모델이 5개가 있다면 각 모델은 n번을 계산해야 해서 계산비용이 너무 커짐.=>k-..

1강 회귀 :: Bias and variance Trade-off  편형과 분산문제점과 해결방법에 어떤 것이 있는지 배운다. 학습데이터와 평가데이터로 나눌 수 있다. 평가데이터는 절대로 모델 학습에 사용하면 안된다!!!! -> 과접합이 일어나서?보통 전체 데이터의 10%~20%를 평가데이터로 사용한다.랜덤샘플링 과정을 거쳐서 평가데이터를 만든다. 비슷한 분포를 가지게 됨. 모델의 복잡도란?-선형모델이 있을때, 선형모델의 파라미터는 기울기와 절편이라는 2가지의 파라미터가 존재한다. 이차함수의 형태의 비선형 모델을 만들었다고 가정하면, 이 모델의 파라미터는 3가지가 된다. 선형모델에서 비선형모델로 넘어갈 수록 파라미터가 증가한다.-> 데이터의 학습을 더 완벽하게 할 수 있게됨. 모델이 복잡하다 => 파라미터..

1강 회귀 :: Gradient Descent  이번 강의에서는 그 유명한 경사하강법에 대해 배운다. 복잡한 함수의 경우 최소제곱법으로 해결이 어려움.행렬의 역행렬을 구하는 것도 계산 비용이 많이 든다. 2행렬과 100행렬을 계산하는 경우 50배가 느는 것이 아니라 기하급수적으로 계산비용이 든다.경사하강법- 경사를 하강한다. 손실한수가 있을때 손실함수 값을 최소화하는 방법. 경사하강법함수의 최솟값은 무조건 순간 변화율이 0이다!!슈도 코드손실함수에 대한 미분값. a0에대한 편미분값이 3이 나올때, 순간변화율이 3이라는 것은 a0가 순각적으로 커졌을경우 3이 플러스된다는 의미. 우리는 손실함수값을 줄이는 것이 목적. -를 붙여줌.마이너스를 해주어야 손실함수값이 낮아지는곳으로 가게 됨. 미분값의 반대방향으로..

1강 회귀 :: Linear Regression   단순선형회귀-피처의 종류가 한 개인 데이터에 대한 회귀 모델다중선형회귀-피처의 종류가 여러 개인 데이터에 대한 회귀  모델다항회쉬-독립변수의 차수를 높인 회귀 모델 ->여기서 선형이란 선형비선형이랑은 다름. 3차원으로 보면 선형이지만 2차원에서는 비선형처럼 보임.  데이터 입력을 받았을때 가장 먼저 할 수 있어야 하는 일은 피처인 x가 무엇이고 라벨인 y가 무엇인지 구분할 수 있어야 하는 것.정답지(라벨)가 실수 형태냐 범주 형태냐를 따질 수 있어야 함.실수 형태이기 때문에 회귀문제로 풀어야 함.모델에 대한 정의는 피처의 개수에 따라 결정. => 단순 또는 다항 회귀(다항 단순 선형회귀) . 피처가 x로 1개이기 때문   단순회귀라고 생각했을때.정의한 ..