pytorch DataLoader 파이토치 데이터로더 사용법

파이토치로 딥러닝 모델을 만드려면 데이터로더를 사용해야 한다. 이를 정의 하는 법을 정리해보려 한다 ,

이전에 https://getacherryontop.tistory.com/144 에서 버트로 영화리뷰 감정분석을 하며 두 가지 방법을 언급했었다. 

1. transformers 의 Trainer를 활용한다.

2. pytorch를 사용한다. 

2번의 경우에 우리는 데이터로더를 정의해야 한다.

위 글에서 데이터로더만 보면

from torch.utils.data import DataLoader

train_dataloader = DataLoader(small_train_dataset, shuffle=True, batch_size=8)

eval_dataloader = DataLoader(small_eval_dataset, batch_size=32)

--------------------------------------

---

def tokenize_function(examples):

    return tokenizer(examples['text'], padding="max_length", truncation=True)

tokenized_datasets = raw_datasets.map(tokenize_function, batched=True)

small_train_dataset = tokenized_datasets['train'].shuffle(seed=42).select(range(1000))

small_eval_dataset = tokenized_datasets['test'].shuffle(seed=42).select(range(1000))

---

데이터로더의 역할

데이터를 배치 단위로 모델에 넣는 역할을 한다. 

데이터셋은 데이터 로더의 구성 요소중 하나로, 데이터셋 안에는 여러 인스턴스(문서+레이블)이 포함되어 있다. 

train_dataloader = DataLoader(small_train_dataset, shuffle=True, batch_size=8)

eval_dataloader = DataLoader(small_eval_dataset, batch_size=32)

처럼

DataLoader에 데이터셋과 배치 사이즈를 설정하여 넘겨준다. train_dataloader에서는 train 데이터셋에서 문장+레이블을 랜덤으로 8개씩 뽑아 배치1, 다른 8개는 배치2 이런식으로 만드는 것이다. 

여기서 주의할 점은 배치 안에 있는 문장들은 모두 길이(토큰 수)가 같아야 한다. 이는 이전에 패딩으로 맞춰준다 .

이 과정은 위에서 tokenize_function 함수를 참고하면 된다!

 

데이터 로더로 넘겨주는 변수들은 저것만 있는 것은 아니다. 

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None, *, prefetch_factor=2, persistent_workers=False)

 

이처럼 배치와 모양등을 정해 모델의 최종 입력으로 다듬어주는 과정은 collate , 컬레이트라고 한다. 

 

++추가

보다 자세한 설명은 공식문서를 참조하길 바란다.

https://pytorch.org/docs/stable/data.html

 

DataLoader로 학습용 데이터 준비하기

Dataset 은 데이터셋의 특징(feature)을 가져오고 하나의 샘플에 정답(label)을 지정하는 일을 한 번에 합니다. 모델을 학습할 때, 일반적으로 샘플들을 “미니배치(minibatch)”로 전달하고, 매 에폭(epoch)마다 데이터를 다시 섞어서 과적합(overfit)을 막고, Python의 multiprocessing 을 사용하여 데이터 검색 속도를 높이려고 합니다.

DataLoader 는 간단한 API로 이러한 복잡한 과정들을 추상화한 순회 가능한 객체(iterable)입니다.

from torch.utils.data import DataLoader

 

train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)

test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)

 

DataLoader를 통해 순회하기(iterate)

DataLoader 에 데이터셋을 불러온 뒤에는 필요에 따라 데이터셋을 순회(iterate)할 수 있습니다. 아래의 각 순회(iteration)는 (각각 batch_size=64 의 특징(feature)과 정답(label)을 포함하는) train_features 와 train_labels 의 묶음(batch)을 반환합니다. shuffle=True 로 지정했으므로, 모든 배치를 순회한 뒤 데이터가 섞입니다. (데이터 불러오기 순서를 보다 세밀하게(finer-grained) 제어하려면 Samplers 를 살펴보세요.)

# 이미지와 정답(label)을 표시합니다.

train_features, train_labels = next(iter(train_dataloader))

print(f"Feature batch shape: {train_features.size()}")

print(f"Labels batch shape: {train_labels.size()}")

img = train_features[0].squeeze()

label = train_labels[0]

plt.imshow(img, cmap="gray")

plt.show()

print(f"Label: {label}")