그래디언트 디센트/역전파

이진분류 문제에서 Step 함수는 입력값에 따라 0 또는 1의 출력만 제공하기 때문에, 미세한 변화를 반영하기 어렵습니다. 이를 보완하기 위해, Sigmoid 함수가 도입되어 0과 1 사이의 연속적인 출력값을 제공할 수 있게 되었습니다. Sigmoid 함수는 가중치와 바이어스의 작은 변화에도 출력이 점진적으로 변화하여, 더 세밀하게 학습할 수 있습니다.

Gradient Descent(경사 하강법)는 이러한 학습 과정에서 매우 중요한 역할을 합니다. Gradient Descent는 모델의 가중치와 바이어스를 조정하여 비용 함수(Cost Function)를 최소화하는 최적화 알고리즘입니다. 비용 함수는 출력값과 목표값(라벨) 사이의 오차를 측정하는 함수입니다.
Gradient Descent는 비용 함수의 기울기를 계산하고, 그 기울기가 낮아지는 방향으로 가중치와 바이어스를 조정하여 오차를 점차 줄여나가는 방식으로 학습을 진행합니다. 기울기가 0에 가까워질 때, 모델은 최적의 상태에 도달하게 됩니다.

이 과정에서 역전파(Backpropagation) 알고리즘이 Gradient Descent와 함께 사용됩니다. 역전파는 신경망에서 오차를 역방향으로 전파하여 각 가중치와 바이어스에 대해 얼마만큼 조정해야 할지를 계산하는 방법입니다. 신경망의 출력층에서부터 입력층으로 오차가 역방향으로 전달되며, 각 계층의 가중치가 오차에 기여한 정도에 따라 가중치가 업데이트됩니다.