딥러닝의 모든 핵심 개념 정리2

최적화 

: 확률적 경사하강법 

- 안장점을 만나면 치소점과 구분하지 못하고 학습을 종료하는데, 손실 함수의 차원이 높아질수록 안장점은 기하급수적으로 많아지므로 최적해로 수렴하지 못할 가능성이 커진다. 

SGD 모멘텀

- 관성이 작용하면 학습 경로가 전체적으로 매끄러워진다. 오버슈팅이 된다는 단점이 있다.최소점 주변의 경사가 가파르면 내려오던 속도가 크기때문에 반대편으로 오버 슈팅이 된다. 

네스테로프 모멘텀

- 관성이 커지더라도 오버슈팅이 될지 미리 살피고 교정하기때문에 오버슈팅이 억제된다. 

AdaGrad

- 손실함수의 곡면 변화에 따라 적응적으로 학습률을 정한다. 

- 학습이 진행될수록 곡면 변화량이 증가하고 적응적 학습률은 점점 낮아진다. 경사가 가파른 곳에서 출발하면 초기부터 적응적 학습률이 급감해서 학습이 조기 중단될 수 있다. 

RMSProp

- 전체가 아닌 최근 경로의 곡면 변화량을 측정해 학습 조기종료를 없앤다. 오래된 경로의 기울기를 적게 반영해 기울기의 크기가 점점 누적되어 곡면의 변화량이 커지는 현상이 발생한다.

Adam

- 잡음 데이터에 민감하지 않고 최적화 성능이 우수하다. 

 

---

가중치 초기화

- 학습 성능에 큰 영향을 끼친다. 신경망의 가중치를 0으로 초기화하면 학습이 진행되지 않으며, 0이 아닌 상수로 초기화하면 같은 층에 있는 뉴런은 마치 하나의 뉴런만 있는 것처럼 똑같이 작동한다. 따라서 난수를 이용(일반적으로)하여 가중치를 모두 다른 값으로 초기화한다. 

- 이 때 주의할 점은 층이 깊어지더라도 데이터의 크기가 달라지지 않도록 가중치의 크기를 정해야 한다는 것이다. 가중치의 크기가 작다면 층이 깊어질수록 출력이 점점 0에 가까워지고 반대로 가중치의 크기가 크면 출력이 점점 커진다. 

- Xavier 초기화는 활성함수가 시그모이드 계열일때 쓴다. 입력 데이터의 분산을 유지하게 한다. 

- He 초기화는 ReLU일때 쓴다. 입력 데이터의 분산을 유지하게 한다. 

 

정규화

- 최적화 과정에서 최적해를 잘 찾도록 정보를 추가하는 기법으로, 정규화를 하면 일반화를 잘하는 모델을 만들 수 있다. 

: 배치 정규화 -> 성능 상승

- 모델을 실행할 때마다 층 형태로 미니배치를 정규화하여 내부 공변량 변화를 최소화한다. 

- 이미지의 경우 배치 정규화 외에 계층 정규화, 인스턴스 정규화, 그룹 정규화를 사용한다. 

: 가중치 감소

- 정규화 기법 중 하나로 손실 함수에 가중치의 크기를 나타내는 정규화 항을 더해서 손실 함수와 함께 최소화되도록한다. 

- 가중치의 사전 분포가 가우시안 분포라면 정규화 항은 L2노름을 사용한다 (L2정규화)

- L2 정규화는 가중치를 작게 만들어 오차의 변동성을 줄이고 해를 빠르게 찾게 한다. 

: 조기 종료

- 훈련 동안 성능이 더 좋아지지 않으면 과적합이라 판단해 훈련을 멈춘다. 

- 파라미터 공간을 작게 만들기 때문에 L2정규화와 동일한 효과를 가진다. 

 

데이터 증강 

- 이미지는 이미지변형(이동, 회전, 늘리기, 대칭, 잡음추가, 색상변환, 잘라내기)를 사용한다. 

 

: 배깅

- 독립된 여러 모델을 동시에 실행한 뒤 개별 모델의 예측을 이용해서 최종 예측하는 정규화 방법

 

: 드롭 아웃

- 미니배치를 실행할 때마다 뉴런은 랜덤하게 잘라내서 새로운 모델을 생성하는 정규화 방법이다. 

- 뉴런은 드롭아웃할때는 뉴런의 50%이상은 유지되도록 주의해야 한다. 

 

: 잡음 주입

- 데이터나 모델이 확률적으로 정의되어 있지 않을 때, 데이터나 모델에 잡음을 넣어서 확률적 성질을 부여하면 다양성이 생기며 정규화 효과가 발생한다. 

- 잡음은 입력 데이터 , 가중치, 레이블 등에 다양한 방식으로 넣을 수 있다. 

- 입력데이터 + 잡음 = 데이터 증강

- 레이블이 정확하지 않을 때 레이블에 오차를 반영한 소프트 레이블링으로 학습하면 모델 성능이 향상된다.