[머신러닝] 머신러닝 입문 올인원 :: 2강 분류_MLE / MAP

---

 

 

2강 분류 :: MLE / MAP

 

MLE(Macinum Likelihood Estimation)

우도확률(likelihood)

우도확률을 최대화 하겠다.

정규분포를 표현하기 위한 파라미터->평균과 분산

평균과 분산을 사용해서 데이터가 나올 수 있는 확률을 PDF로 계산

샘플이 1부터 n개로 표현될 때, 각각의 모든 데이터들에 대한 PDF 확률이 존재할 것이다. 

모든 데이터들에 대한 PDF 값들을 곱해준 것

 

MLE : 최대 우도 추정법 : 우도 확률을 최대로 만드는 파라미터

데이터가 많으면 많을수록 더 좋은 성질을 띈다

 

MAP : 최대 사후 확률

데이터가 주어진 상황에서 가장 출현(w라는 가설)할 수 있는 확률.

모르는 것이 w. 베이즈 정리를 사용해야한다.

 

로지스틱회귀같은 경우 MLE를 사용함.

사전확률분포를 가정.

 

로지스틱회귀는 시그모이드 함수와 선형회귀의 결합.

p라는 파라미터는 y가 1로 예측될 확률을 담고 있는 파라미터이다.

로지스틱회귀가 이진분류이다. 베르누이 분포를 따름.

 

yi를 모든 데이터셋에 대한 곱셉으로 우도함수를 표현할 수 있다.

우도함수를 max로 하는 것이 목표이다. 

ln -> log 밑이 자연상수인 것.

x값이 증가할수록 y값도 단조롭게 증가한다.

maxL=maxlnL 으로 볼 수 있겠다. 

지수함수형태에서의 지수로 들어가있는 값을 곱셉의 형태로 내려주어서 쉽게 계산을 하기 위한 작업이다.(ln)

max값을 최소화 형태로 만들어줌.(손실함수는 작아야하기 때문에)

-lnL이 로지스틱회귀에 대해 풀고싶은 손실함수이다.

 

계산하는 과정 참고.

w에 대한 편미분값이 0이 되는 방향으로 계산.

 

이론적인 부분은 이해가 가는데 수학적인 부분은 좀 놓친다...ㅠ 그리고 점점 앞의 내용을 모르면 이해하는데 지장이 생기는 것 같다.

 

이미지를 눌러 머신러닝 배우러 가기