Stochastic Gradient Descent (확률적 경사 하강법)

Likelihood 함수의 편미분값이 0이 되게하는 방정식의 solution을 찾기 힘든경우에는
수치적으로 최적화작업에 들어가야한다. 이를 위해 머신러닝 및 딥러닝 분야에서는
Cost/Loss Function이라는 개념을 도입해 목적함수를 최소화하는것을 목표로 삼는다.

Gradient Descent란 미분가능한 함수에 대해 Optimal Solution을 구할 때,
미분계수를 반복적으로 계산하고 이를 바탕으로 최적화된 매개변수 Theta를 찾아가는 방법이다.

Likelihood 함수와 같이 목적 함수가 동일형태의 함수의 합으로 분해할 수 있을 때는 모든 데이터값을
사용하는 것이 아니라, 랜덤하게 일부값(Mini-batch)만을 사용하는 Stochastic Gradient Descent를 쓴다.