model.train() 과 model.eval()의 스위칭은 필수일까?

자연어처리에서 다운스트림 태스크 중 예를 들면 분류하는 문제에서,

모델을 학습시킬 때 train 과 validation 으로 먼저 성능을 채점한 후,레이블이 없는 새로운 인풋으로 test셋을 넣어 예측된 레이블 값을 얻는다.  train 과 validation을 하는 과정에서, train을 하기전 model.train() 으로 train상태로 만들어주고, train이 끝나면 model.eval()로 스위칭하여 검증을 하고 다시 train- eval 하는 식으로 에포크 만큼 돌게 된다. 

이 때 , train 할 때는 무조건 train mode, validation 할 때는 무조건 validation 모드에 있어야 하기 때문에 스위칭은 필수 이다. 

코드에서도 이를 수동으로 명시해야 하는지 궁금했었는데 

만약 eval 이 with 문 안에 있으면 검증이 끝나면 자동으로 train 모드로 변환이 되어 model.train() 과 model.eval()을 한번씩만 쓰면 된다. 하지만 그렇지 않을 경우 model.train() 과 model.eval() 이 끝나는 때에 model.train() 을 다시 명시해 주어 훈련모드로 변환을 해주어야 한다. 

따라서 스위칭은 필수적이다!

---

코드 예시

model.train()
for epoch in range(train_epoch):
........

(생략)

            optimizer.zero_grad()
            loss = output.loss
            loss.backward()

            optimizer.step()

  
                    model.eval()
                    
                    for .... in tqdm(......):
       

                        output = model(....)

                        logits = output.logits
                        loss = output.loss
      
                    ...

(생략)
             
            model.train()