TIL

코드를 리뷰하다가 np.argsort 를 보고 정렬은 정렬인데 어떤식으로 정렬되는 건지 궁금해서 정리해보았다. 각 원소의 정렬 인덱스 값을 반환한다. numpy.argsort(a, axis=-1, kind=None, order=None) b = [0,1,2,3,10,9,8] x=np.argsort(b) print(x) 결과값 [0 1 2 3 6 5 4] x2 = np.argsort(b)[::-1]. #내림차순으로 정렬 결과값 [4 5 6 3 2 1 0] a = [[0,1,2,3],[1,2,3]] print(np.argsort([len(aa) for aa in a])) [1 0] x = np.array([[0, 3], [2, 2]]) np.argsort(x, axis=0) array([[0, 1], [1,..

파이토치로 딥러닝 모델을 만드려면 데이터로더를 사용해야 한다. 이를 정의 하는 법을 정리해보려 한다 , 이전에 https://getacherryontop.tistory.com/144 에서 버트로 영화리뷰 감정분석을 하며 두 가지 방법을 언급했었다. 1. transformers 의 Trainer를 활용한다. 2. pytorch를 사용한다. 2번의 경우에 우리는 데이터로더를 정의해야 한다. 위 글에서 데이터로더만 보면 from torch.utils.data import DataLoader train_dataloader = DataLoader(small_train_dataset, shuffle=True, batch_size=8) eval_dataloader = DataLoader(small_eval_datas..

딥러닝 책을 읽다보면, 엔드투엔드 모델이라는 용어가 많이 나온다. end-to-end 모델 대부분의 딥러닝 모델은 x를 넣으면 y가 나오도록 한다. (예를 들면, 개사진 입력-> 개를뱉는 이미지 분류 테스크) 그 과정은 이미지에서 특징을 추출하고, 특징에 맞는 단어와 매칭시키고 이러한 작업들을 거치는 파이프라인으로 이루어져있다.end-to-end 모델은 이러한 중간 과정들을 하나의 신경망(하나의 파이프라인)으로 대체/압축하는 것이라 생각하면 된다. 다만 이는 많은 양의 데이터가 있어야만 가능하다. 음성인식에 end-to-end 를 적용한 예 사실 좀 추상적인 개념이기는 한데요 “특정한 task를 하나의 모델에 대한 추론 결과로 수행한다” 이정도의 의미인데 여기서 “특정한 task” 는 language m..

필요한 라이브러리 임포트 import torch import numpy as np from sklearn.datasets import make_blobs import matplotlib.pyplot as plt import torch.nn.functional as F 데이터셋 생성 n_dim=2 x_train, y_train = make_blobs(n_samples=50, n_features=n_dim, centers=[[1,1],[-1,-1],[1,-1],[-1,1]], shuffle=True, cluster_std=0.3) x_test, y_test = make_blobs(n_samples=20, n_features=n_dim, centers=[[1,1],[-1,-1],[1,-1],[-1,1]], s..

자연어처리에서 토큰의 순서가 매우 중요합니다. 나는 집에 간다. (o) 나는 간다 집에 (x) 이러한 토큰의 순서를 고려하기 위해 RNN 형태의 모델이 개발되었습니다. RNN의 의미와 구조 똑같은 weight를 통해 재귀적으로(Recurrent) 학습한다. = RNN(Recurrent Neural Network) xt라는 input이 들어가게 되면 이전에 xt-1에서 학습된 A라는 weight를 통해 ht를 리턴하게 됩니다. RNN의 여러 형태와 사용 분야 빨간박스는 인풋, 초록박스는 RNN Block, 파란박스는 y(정답) 혹은 y^(예측값) 아웃풋입니다. one-to-many 사용분야 : image captioning ( input: image, output: sequence of words/toke..

Rank = 차원 rank=0 , scalar(1) rank=1 , vector([1,2,3]) rank=2 , matrix([[1,2,3]]) rank=3, n-rank matrix([[[1,2,3]]]]) squeeze, unsqueeze, view는 rank, shape을 변환시킵니다. view는 반드시 원소의 개수가 같아야 한다. 가령 아래의 x를 2x4인 8개 원소를 지닌 텐사로 바꿀수는 없다. 행렬과 행렬곱

최적화 : 확률적 경사하강법 - 안장점을 만나면 치소점과 구분하지 못하고 학습을 종료하는데, 손실 함수의 차원이 높아질수록 안장점은 기하급수적으로 많아지므로 최적해로 수렴하지 못할 가능성이 커진다. SGD 모멘텀 - 관성이 작용하면 학습 경로가 전체적으로 매끄러워진다. 오버슈팅이 된다는 단점이 있다.최소점 주변의 경사가 가파르면 내려오던 속도가 크기때문에 반대편으로 오버 슈팅이 된다. 네스테로프 모멘텀 - 관성이 커지더라도 오버슈팅이 될지 미리 살피고 교정하기때문에 오버슈팅이 억제된다. AdaGrad - 손실함수의 곡면 변화에 따라 적응적으로 학습률을 정한다. - 학습이 진행될수록 곡면 변화량이 증가하고 적응적 학습률은 점점 낮아진다. 경사가 가파른 곳에서 출발하면 초기부터 적응적 학습률이 급감해서 학습..

딥러닝이란? - 인공신경망을 이용해 복잡한 데이터 관계를 찾아내는 머신러닝 기법, 특징을 자동으로 추출하므로 모델 확장성이 높아 머신러닝보다 다양한 문제에 활용할 수 있다. - 지도학습, 비지도학습, 강화학습에도 뛰어난 성능을 보이고 있다. - 단, 비용과 시간, 데이터가 많이 필요하다. 설정해야 할 파라미터도 많아 최적화가 쉽지 않고. 디버깅도 어렵다. 또한 타깃데이터를 만드는데도 비용이 많이 든다는 한게가 있다. 순방향 신경망(feedforward neural network) - 다층퍼셉트론을 순방향 신경망, 퍼셉트론은 인공 신경망이라 부른다. 순방향 신경망은 데이터가 서로 독립이라고 가정하며, 데이터를 한 방향으로 전달하는 순방향 연결 구조로 이루어진다. - 순방향 신경망은 뉴런들이 모여 게층을 이..

view - 원소의 수를 유지하면서 텐서의 크기 변경 t = np.array([[[0, 1, 2], [3, 4, 5]], [[6, 7, 8], [9, 10, 11]]]) ft = torch.FloatTensor(t) ft라는 이름의 3차원 텐서를 만들었습니다. 크기(shape)를 확인해보겠습니다. print(ft.shape) torch.Size([2, 2, 3]) 4-1) 3차원 텐서에서 2차원 텐서로 변경 이제 ft 텐서를 view를 사용하여 크기(shape)를 2차원 텐서로 변경해봅시다. print(ft.view([-1, 3])) # ft라는 텐서를 (?, 3)의 크기로 변경 print(ft.view([-1, 3]).shape) tensor([[ 0., 1., 2.], [ 3., 4., 5.], [ ..

파이토치 텐서 선언하기(PyTorch Tensor Allocation) import torch 1) 1D with PyTorch 파이토치로 1차원 텐서인 벡터를 만들어봅시다. t = torch.FloatTensor([0., 1., 2., 3., 4., 5., 6.]) print(t) dim()을 사용하면 현재 텐서의 차원을 보여줍니다. shape나 size()를 사용하면 크기를 확인할 수 있습니다. print(t.dim()) # rank. 즉, 차원 print(t.shape) # shape print(t.size()) # shape 1 torch.Size([7]) torch.Size([7]) 현재 1차원 텐서이며, 원소는 7개입니다. 인덱스로 접근하는 것과 슬라이싱을 해봅시다. 방법은 Numpy 실습과 ..