코랩(colab) 파이토치 튜토리얼, 텐서 연산, AUTOGRAD

코랩에서 파이토치 실행방법과 기본적인 사용법에 대해 알아보겠습니다.

먼저, 런타임의 유형을 변경해줍니다. 상단 메뉴에서 [런타임]->[런타임유형변경]->[하드웨어가속기]->[GPU]로 변경 이후 아래의 cell을 실행 시켰을 때, torch.cuda.is_avialable() 값이 True가 나와야 합니다.

import torch
print(torch.__version__)
print(torch.cuda.is_available())

---

import matplotlib.pyplot as plt
import numpy as np
import scipy as sp

np.set_printoptions(precision=3)
np.set_printoptions(suppress=True)

 

PyTorch에서는 텐서라는 자료구조를 사용하여 모델의 입력과 출력,  모델의 파라미터를 나타냅니다. 텐서를 배열, 행렬과 유사한 점을 많이 가지고 있습니다. GPU나 다른 연산 가속을 위한 특수한 하드웨어에서 실행할 수 있다는 점을 제외하면, 텐서는 NumPy의 ndarray와 매우 유사합니다.

텐서 초기화하기: 데이터로부터 직접 생성하기

data = [[1, 2],[3, 4]]
x = torch.tensor(data)
x

Numpy array로부터 생성하기

np_array = np.array(data)
x = torch.from_numpy(np_array)
x

 

Tensor에서 Numpy array로 변환하기

x.numpy()

다른 텐서와 같은 모양의 텐서 초기화하기

x_ones = torch.ones_like(x) # x_data의 속성을 유지합니다.
print(f"Ones Tensor: \n {x_ones} \n")

x_rand = torch.rand_like(x, dtype=torch.float) # x_data의 속성을 덮어씁니다.
print(f"Random Tensor: \n {x_rand} \n")

 

주어진 shape으로 초기화하기

shape = (3,4)
rand_tensor = torch.rand(shape)
ones_tensor = torch.ones(shape)
zeros_tensor = torch.zeros(shape)

print(f"Random Tensor: \n {rand_tensor} \n")
print(f"Ones Tensor: \n {ones_tensor} \n")
print(f"Zeros Tensor: \n {zeros_tensor}")

 

텐서의 속성은 텐서의 모양(shape), 자료형(datatype) 및 어느 장치에 저장되는지를 나타냅니다.

tensor = torch.rand(3,4)

print(f"Shape of tensor: {tensor.shape}")
print(f"Datatype of tensor: {tensor.dtype}")
print(f"Device tensor is stored on: {tensor.device}")

 

아래와 같이 cpu에 할당되어 있는 tensor를 gpu에 옮길 수 있습니다.

device = torch.device('cuda')
tensor = tensor.to(device)
print(f"Device tensor is stored on: {tensor.device}")

 

텐서 연산

Numpy식의 인덱싱과 슬라이싱

tensor = torch.ones(3, 4)
tensor[:,1] = 0
print(tensor)

 

텐서 합치기

t1 = torch.cat([tensor, tensor, tensor], dim=0)
print(t1)

t1 = torch.cat([tensor, tensor, tensor], dim=1)
print(t1)

텐서 곱하기

# 요소별 곱(element-wise product)을 계산합니다
print(f"tensor.mul(tensor) \n {tensor.mul(tensor)} \n")

# 다른 문법:
print(f"tensor * tensor \n {tensor * tensor}")

텐서간 matrix multiplication 진행하기

print(f"tensor.matmul(tensor.T) \n {tensor.matmul(tensor.T)} \n")

# 다른 문법:
print(f"tensor @ tensor.T \n {tensor @ tensor.T}")

 

AUTOGRAD

PyTorch에는 torch.autograd라고 불리는 자동 미분 엔진이 내장되어 있습니다. 이는 모든 node에 대한 미분 값을 자동으로 계산해주게 됩니다. 입력 X, 파라미터 W , 그리고 cross-entropy loss를 사용하는 logistic regression model의 gradient를 autograd를 이용해서 구해보도록 하겠습니다.

x = torch.ones(5)  # input tensor
y = torch.zeros(3)  # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
print(x)
print(y)
print(w)
print(b)

 

Forward

z = torch.matmul(x,w)+b
z

 

Loss Function
PyTorch에서는 node를 크게 2가지의 방법의 api를 활용해서 사용합니다.

torch.nn
torch.nn.functional

torch.nn은 사전에 node를 초기화 시켜놓고, 해당 node에 텐서를 통과시켜 값을 받는 형태인 반면, torch.nn.functional은 사전에 초기화없이 바로 함수처럼 사용하는 방식입니다. 원하시는 api를 선택하셔서 사용하시면 됩니다.

loss_fn = torch.nn.BCEWithLogitsLoss()
loss = loss_fn(z, y)


loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)

 

Backward

모델에서 매개변수의 가중치를 최적화하려면 파라미터에 대한 loss function의 도함수(derivative)를 계산해야 합니다. 이러한 도함수를 계산하기 위해, loss.backward() 를 호출한 다음 w.grad와 b.grad에서 값을 가져옵니다

loss.backward()
print(x.grad)
print(w.grad)
print(b.grad)

기본적으로, requires_grad=True인 모든 텐서들은 연산 기록을 추적하고 미분 계산을 지원합니다. 그러나 모델을 학습한 뒤 입력 데이터를 단순히 적용하기만 하는 경우와 같이 forward 연산만 필요한 경우에는, 미분 연산을 위한 값들을 저장해두는 것이 속력 및 메모리의 저하를 가져올 수 있습니다. 연산 코드를 torch.no_grad() 블록으로 둘러싸서 미분 추적을 멈출 수 있습니다:

z = torch.matmul(x, w)+b
print(z.requires_grad)

with torch.no_grad():
    z = torch.matmul(x, w)+b
print(z.requires_grad)