Hyperparameters

"Hyperparameters"

신경망을 통해 학습을 하게 되면, 쉽게 설명하기 어려운 많은 문제들을 해결할 수가 있을 것 같은데, 안타깝게도 잘 안 되는 경우도 많다. (신경망이 복잡할수록 이 문제는 더 커진다.) 이는 신경망의 학습 방법이나 구조의 문제가 아니라, 신경망의 hyperparameter들이 제대로 설정되지 못해, 학습이 효과를 발휘하지 못하기 때문이다.
이것은 마치 사람들이 학습할 때, 학습에 좋은 환경이 조성이 되어 있어야 학습이 효과적으로 되는 것과 비슷하다고 생각하면 된다. 맹목삼진지교를 떠올려보면 좋을 비유가 될 것 같다.

이번 class에서는 신경망이 좋은 결과를 내기 위해서 반드시 고려해야 할 hyperparameter들에 대해 살펴볼 예정이다.

신경망이나 기계 학습에서의 hyperparameters란?

그간 class를 통해 신경망의 가중치(weight)나 바이어스(bias) 값을 알아내는 것이 신경망 학습의 목표라고 배웠는데, 이 hyperparameter라는 것들이 갑자기 튀어나오니 뭔가 무시무시한 변수가 또 있는가 하고, 좀 당황스러울 수도 있겠다.
하지만, 우리는 이번 class에서 "학습 진도율(η)"이나 "일반화(regularization) 변수(λ)" 등 hyperparameter들에 대해서 이미 살펴본 적이 있다.
학습 진도율이나 일반화 변수가 엉뚱하게 설정이 되면, 신경망을 통한 학습의 결과가 그리 좋지 못하거나 기대 이하의 학습 결과가 나올 수 있는 것이다.