Logistic Regression (로지스틱 회귀)

Losgistic Regression은 분류를 위한 선형 모델이며, 기존의 Linear Regression과의 다른점은
연속적이었던 목적 변수 y가, 0 또는 1의 이산값으로 바뀌게 된다는 것이다.

이 때, 0 또는 1의 이산값을  만들어주기 위해 Sigmoid라는 활성화함수(Activation Function)을 도입하고,
그 수식은 다음과 같다.

[그림] 시그모이드 함수의 정의

로지스틱 회귀도 앞선 선형회귀 모델처럼 확률모델이며, y가 파라미터 z의 베르누이 분포를 따른다고 가정한다.
앞선 포스팅에서 소개한 베르누이 분포의 최대우도추정을 적용시 손실함수는 아래와 같은 수식으로 나타나며,

이 손실함수가 우리가 앞으로 흔히 접하게될 Cross-Entropy임을 기억하자!