[자연어 처리] RNN을 보완하는 LSTM과 GRU

https://getacherryontop.tistory.com/125

RNN

---

RNN은 시퀀셜한 데이터 입력에 훌륭하게 동작하지만, 기억력이 안좋습니다. time-step이 길어질수록 앞의 내용을 까먹게 되는 것이죠.

이를 보완하기 위해 LSTM이라는 구조가 제시되었습니다. 

 

LSTM(Long short-term memory)

- 별도의 Cell state 변수를 통해 기억을 할 수 있도록합니다. 여러가지 gate를 두어 기억, 잊어버리기, 출력할 데이터 양을 조절할 수 있게 되었습니다. 

- 파라미터가 더 증가해 RNN보다 오랜 훈련시간이 소요됩니다. 다행히, GPU의 사용으로 이러한 단점을 줄어들었지만요

각 게이트 앞에는 시그모이드 함수가 있어 0~1사이 값으로 게이트를 얼마나 열고 닫을지 결정합니다. 

 

 

- 두세트의 hidden state vector가 존재합니다.(그림에서 평행한 화살표 2개,  C=cell, h= hidden)

 

gate

- 이전에서 넘어온 cell state 를 얼마나 흘려보낼지에 대한 게이트가 존재합니다. 

시그모이드를 거친 f 벡터를 계산합니다. 

Cell state에 추가할 정보를 생성하고 여기에 inpit gate를 통해 일부를 버립니다. 

forget gate에서 넘어온 cell state에 현재정보를 더해 현재 cell state를 업데이트합니다. 

현재  cell state를 tanh에 통과하고 여기에 output gate를 통과시켜 현재의 hidden state를 생성합니다. 이후, 이 hidden state를 다음 타임스탬프로 넘겨주고, 필요하면 output, next layer로 넘기게 됩니다. 

GRU

LSTM의 간소화 버전으로 성능은 비슷하나, 아직은 LSTM을 사용하는 경우가 더 많습니다.