[Deep Learning] Optimizing Parameters

입력과 출력(정답)이 '근사하다' 라는 정확한 수학적 척도가 필요하다. ➡️ Loss / Cost

 

성능이 좋은 layer의 깊이, 크기(뉴런 수)를 정하는 방법은 하이퍼파라미터를 조절해가면서 적당한 파라미터(w,b)를 찾아줘야 한다.

모델의 크기가 크면 표현력은 높아지지만, 연산량도 높아진다. 따라서, 정답을 찾아가는 과정이 어려워진다.

 

 

이상적으로,  cost functions가 0이 되는 값을 찾아가는 것이 좋다.

 

 

 

 📌 Gradient