[DL] 하이퍼파라미터 튜닝 정리

파라미터 Parameter

• ex) weight(가중치), bias ...
• 파라미터는 사용자가 정할수 있는 값이 아닌 모델 내부에서 결정되는 변수를 말한다.

 

하이퍼파라미터 Hyperparameter

• learning rates, Momentum, Batch size ...
• 하이퍼 파라미터는 모델링할 때 사용자가 직접 넣어주는 값을 말한다.
• 따라서 흔히 얘기하는 "모델 파라미터를 수정한다"라는 얘기는 사실 "모델의 하이퍼파라미터를 수정하고 있다"로 고쳐져야 한다.

 

하이퍼파라미터 튜닝

1. Baby sitting

• 하나의 모델로 매일 성능을 지켜보면서, 학습 속도를 조금씩 바꾸는 방식이다.
• 매일 모델을 돌보면서 학습을 시키기 때문에 Baby sit이라는 이름을 가진다.

2. Grid serach

• 파라미터마다 탐색할 지점을 지정해준다.
• 우리가 지정해준 몇 가지 파라미터들의 후보군들의 조합 중에서 가장 성능이 좋은 조합을 찾아준다.
• 우리가 지정해 준 하이퍼파라미터 후보군의 갯수만큼 비례하여 시간이 늘어나기 때문에 최적의 조합을 찾을 때까지 시간이 매우 오래 걸릴 수 있다는 단점이 있다.

3. Random search

• 범위를 지정해주고 그 안의 하이퍼파라미터들의 조합을 무작위로 학습. 그 중 가장 성능이 높은 모델을 준다.
• 파라미터들의 중요도를 갖다고 여기는 grid search와 달리 random search는 더 중요한 파라미터를 그렇지 않은 것보다 탐색을 더 한다.