[딥러닝] 오토인코더의 구조

오토 인코더(autoencoder)

 

딥러닝에서의 비지도 학습

출력 데이터를 입력 데이터와 비슷하게 만들어 자기 자신을 재현할 수 있게 학습하는 방법

자기 자신이 정답 데이터미으로 따로 정답 데이터 필요 없음 = 비지도 학습

 

복잡한 문제 풀수 있도록 중간 레이어 늘릴 때, 사전 학습으로 학습 적절히 이루어지도록한다.

이때 입력 레이어쪽의 엣지 가중치는 입력 레이어로부터 전해진 데이터를 압축해서 특정량 잘 추출하도록 조정된다. 출력 레이어 쪽 가중치는 전달된 특정량은 원래의 데이터로 저정할 수 있게 조정

이러한 형태로 중간 레이어를 추가하며 깊은 네트워크 구축

 

 

---

학습 테크닉

 

레이어를 많이 만들수록 복잡한 구조 - 과학습(과적합)에 빠질 우려가 있다.

과학습?  해당 학습 데이터에는 좋지만 다른 데이터로 테스트했을 때 나쁜 결과

= 범화 능력이 없다

 

 

과학습을 줄이고, 네트워크의 범화 능력을 높이려면 ? 정규화

 

정규화 방법

L1 정규화

특징 없는 변수의 가중치를 0에 가깝게 만들어서 특징 있는 변수만 추출하는 방법

 

L2 정규화

변수의 가중치가 클수록 0에 가깝게 만들어서 가중치의 과도한 증가를 제어하는 방법

 

드롭아웃

특정 레이어의 노드를 몇개 무시해버리고 학습

드롭아웃

 

 

합성곱 신경망 CNN - 이미지 분류

 

재귀적 신경망 RNN - 텍스트와 음성 분류