end-to-end 모델이란

딥러닝 책을 읽다보면, 엔드투엔드 모델이라는 용어가 많이 나온다. 

 

end-to-end 모델

대부분의 딥러닝 모델은 x를 넣으면 y가 나오도록 한다. (예를 들면, 개사진 입력-> 개를뱉는 이미지 분류 테스크)

그 과정은 이미지에서 특징을 추출하고, 특징에 맞는 단어와 매칭시키고 이러한 작업들을 거치는 파이프라인으로 이루어져있다.end-to-end 모델은 이러한 중간 과정들을 하나의 신경망(하나의 파이프라인)으로 대체/압축하는 것이라 생각하면 된다. 

 

다만 이는 많은 양의 데이터가 있어야만 가능하다.

 

음성인식에 end-to-end 를 적용한 예

 

---

 

 

사실 좀 추상적인 개념이기는 한데요 “특정한 task를 하나의 모델에 대한 추론 결과로 수행한다” 이정도의 의미인데 여기서 “특정한 task” 는 language modeling, sentence classification과 같은 우리가 익히 알고 있는 task들이 될 수 있겠고,“하나의 모델에 대한 추론 결과“라는 의미는 반대의 경우인 “여러 모델로 원하는 task에 대한 추론 결과“로 쉽게 이해해볼 수 있을텐데요.

예를 들어, “긍부정 분류“라는 task를 수행하기 위해 A모델, B모델 두개가 필요하고 A모델의 결과값을 이용해 B모델의 추론을 수행하고 B모델이 “긍부정 분류“를 수행하면 이러한 구조는 end to end구조로 보기는 어렵습니다.

여러개의 모델을 쓰더라도 모델간의 의존성이 없다면 end to end라고 볼 수도 있겠구요 ~ (이 경우는 ensemble 구조로 볼 수 있겠습니다)따라서, end to end는 여러 모듈 (RNNs, transformer 등)을 쓰더라도 input에 대해서 우리가 원하는 형태의 output을 바로 출력해줄 수 있는 하나의 구조에 대해 붙는 이름이라고 볼 수 있겠습니다 ~