TIL

부스팅은 약한 학습기를 여러 개 연결하여 강한 학습기를 만드는 앙상블 방법이다. 부스팅 방법 중 가장 유명한 것은 에이다부스팅과 그래디언트 부스팅(XGBoost, LightGBM)이다. 에이다부스트 이전 예측기를 보완하는 방식은 이적 모델이 과소적합했던 훈련샘플의 가중치를 더 높이는 것이다. 이렇게 하면 새로운 예측기는 이전에 학습이 잘 안됐던 샘플에 더 맞춰지게 된다. 에이다부스트는 이 방식을 사용한다. 예를 들어 에이다부스트 분류기를 만들 때는 먼저 알고리즘의 기반이 되는 첫 번째 분류기(예; 결정 트리)를 훈련세트에서 훈련시키고 예측을 만든다. 그 다음에 알고리즘이 장못 분류한 훈련샘플의 가중치를 상대적으로 높인다. 두 번째 분류기는 업데이트됨 가중치로 훈련세트에서 훈련하고 다시 예측한다. 또 가중..

앙상블 학습은 다양한 예측기를 결합해 학습하는 것입니다. 앙상블의 방법 중 하나는 훈련셋으로부터 무작위로 다른 서브셋을 만들어 일련의 결정트리 분류기를 훈련시킬 수 있습니다. 예측을 하려면 모든 개별트리의 예측을 구하고 가장 많은선택을 받은 클래스를 예측으로 삼습니다voting. 결정 트리의 앙상블은 랜덤포레스트입니다. 앙상블 방법은 훨씬 더 높은 정확도를 낼 수 있습니다. 배깅 훈련셋에서 중복을 허용하여 샘플링하는 방식 페이스팅 훈련셋에서 중복을 허용하지 않고 샘플링하는 방식 두 방법 모두 같은 훈련샘플을 여러 예측기에 걸쳐 사용할 수 있지만 배깅만이 한 예측기를 위해 같은 훈련샘플을 여러 번 샘플링할 수 있습니다. 부트스트랩(bootstrap) 부트스트랩(bootstrap)은 통계학에서 사용하는 용어..

공통점 : 외부 라이브러리이기에 사용 전 import 해줘야한다. import numpy as np import pandas as pd Pandas: 쉬운 데이터 조작과 분석을 위한 라이브러리로, 데이터의 빠른 로드, 정렬, 조작 및 병합을 가능하게 하는 라이브러리로, 다음과 같은 기능을 수행할 수 있다. - 데이터프레임 생성, 슬라이싱, 데이터 클렌징, 데이터 채우기, 데이터 병합 및 조인 예시 Numpy: 딥러닝을 구현하다보면 배열이나 행렬 연산이 자주 등장한다. 넘파이는 행렬이나 대규모 n차원 배열을 쉽게 처리할 수 있도록 지원하는 파이썬의 라이브러리로, 데이터 구조 외에도 수치 계산을 위해 효율적으로 구현된 기능을 제공한다. 넘파이의 배열 클래스인 numpy.array에는 편리한 메서드들이 많이 ..

이번에는 지도학습과 다른, 정답 레이블이 주어지지않는 비지도 학습에 대해 공부해보겠습니다. 비지도학습에는 다음과 같은 것들이 있습니다. 1. 군집(clustering) 비슷한 샘플은 클러스터로 묶습니다. 군집은 고객분류 -> 추천시스템 - 동일한 클러스터 내 사용자가 좋아하는 컨텐츠를 추천하는 추천 시스템을 만들 수 있습니다 준지도학습 - 레이블된 샘플이 적다면 군집을 수행하고 동일한 클러스터에 있는 모든 샘플에 레이블링을 할 수 있십니다. 이 기법은 이어지는 지도학습 알고리즘에 필요한 레이블이 크게 증가해 성능을 크게 향상시킵니다. 이미지 분할 - 색을 기반으로 픽셀을 클러스터링입니다. 그다음 픽셀 색을 해당 클ㄹ러스터의 평균 색으로 바꿉니다. 이는 이미지에 있는 색상의 종류를 크게 줄입니다. 이렇게하..

머신러닝에서의 학습의 종류는 다음과 같이 3가지이고, 각각 해당하는 작업을 볼 수 있습니다. 지도 학습 중에서 분류 작업과 모델에 대한 성능 측정에 대해 다루겠습니다. 사이킷런의 다양한 분류모델로 학습을 진행할 수 있습니다. 분류는 회귀보다 사용할 수 있는 성능 지표가 많습니다. 1. 교차검증을 활용한 정확도 측정 사이킷런의 cross_val_score()를 활용할 수 있습니다. 폴드가 3개인 k-겹 교차 검증을 사용해 모델을 평가하는 예시 from sklearn.model_selection import cross_val_score cross_val_score(훈련한모델,X_train,y_train, cv=3,scoring="accuracy") 그러나 정확도는 분류기 성능 측정지표로는 선호되지 않습니다...

머신러닝의 많은 문제는 train sample 이 수천에서 수백만개의 특성을 가지고 있다는 것입니다. 사람은 3차원 공간에서 살고 있기에 우리가 보고 느낄 수 있는 것들은 1,2,3차원 입니다. 하지만 머신러닝에서는 다루는 차원의 수가 정말 큽니다. 따라서 우리는 매우 간단한 형태이더라도 차원의 수가 높아지면 이해할 수 없어집니다. 그리고 많은 특성은 triain 시간을 느리게 할 뿐만아니라, 좋은 솔루션을 찾기 힘들게 합니다. 우리는 종종 이런 문제를 차원의 저주(CURSE OF DIMENSIONALITY)라고 부릅니다. 하지만 특성 수를 크게 줄여 고차원 공간을 우리가 이해할 수 있는 저차원으로 변환하는 기술을 연구하였습니다. 이를 dimensionality reduction이라고 합니다. 예를 들어..

앞서 분류가 2개인(1아니면 0)인 이진 로지스틱 회귀에 관해 배웠다. 만약 분류항목이 2개가 아닌 그 이상이라면 어떻게 할까? 앞선 예제에서 사용한 데이터에는 붓꽃의 품종이 virginica, versicolor,setosa로 세가지였지만 우리는 versicolor인가 아닌가로만 판단을 했었다. 이번에는 한 붓꽃의 꽃잎의 너비와 길이를 가지고 세가지 품종중 어느 품종인지 분류하는 다중 로지스틱회귀를 해보겠다. 다중 로지스틱회귀는 샘플 x가 주어지면 각 클래스에 대한 점수를 소프트맥스 회귀모델이 계산하고 그 점수에 소프트맥스 함수를 적용해 각 클래스의 확률을 추정한다. : 로짓변환 결과는 선형결합한 형태로 된다. train할 때, 파라미터 추정은 크로스 엔트로피가 최소 = log(liklihood fun..

회귀 알고리즘은 분류에서도 사용된다. 분류의 의미는 정해져 있는 범주들 중 하나로 예측하는 것이다. 이를 카드거래 이상 유무, 스팸메일여부, 고객 이탈 여부, 백혈병 여부 등 분류하는 문제에 활용할 수 있다. 로지스틱 회귀는 샘플이 특정 클래스에 속할 확률을 추정하는데 널리 사용된다. 추정확률이 50%가 넘으면 그 샘플이 해당 클래스에 속한다고 얘기할 수 있다. 클래스에 속한다는 것은, 레이블이 1인 양성클래스(positive class), 클래스에 속하지 않는 것은 레이블이 0인 음성 클래스(negative class0라고 한다. 이를 이진 분류기라 한다. 흔히 로지스틱 회귀는 종속변수가 이항형 문제(즉, 유효한 범주의 개수가 두개인 경우)를 지칭할 때 사용된다. 이외에, 두 개 이상의 범주를 가지는 ..

binary classification은 종류가 2개로 나뉘어진 데이터가 있고 이를 분류하는 문제입니다. 이 문제는 예측 값이 연속적인 값이 아닌 0 또는 1입니다. 예시 이메일 : 스팸인가 / 아닌가? 온라인 거래: Fraudulent Financial Statement (FFS)인가 / 아닌가? 종양 : 악성종양(암)인가 / 양성인가? 이때는 우리의 예측 값을 확률 값으로 만든 다음에 확률 값이 우리의 기준보다 높으면 1, 아니면 0으로 분류합니다. 이러한 문제를 푸는 방법을 logistic regression이라고 합니다. 나누는 종류가 3개이상이면 - multi classification Logistic regression을 진행하기 위해서는 출력 값을 0과 1의 값으로 맞춰주어야 합니다. 이를 ..

실제로 예측을 하고자 할 떄 보통 하나 이상의 변수들을 고려해야 합니다. multiple linear regression은 다양한 입력 변수들을 사용하는 예측모델입니다. 위 이미지를 예로 설명하면, 집가격(y)를 예측한다고 할 때, x1(침실수), x2=층 수, x3=지어진연수, x4=크기 4가지 feature(n=4)가 있습니다 . feature= dimension=attribute x(2)는 =[3 2 40 127](열벡터로)가 되고, x3(2)는 30 입니다 default는 한상 열벡터이고, row vector 즉 [3 2 40 127]로 표현하고 싶다하면, transpose를 사용하여 표현합니다. 예측 모델 식은 다음과 같습니다. 세타0,1,2,3은 각 변수의 가중치이고, x1,2,3는 각 fea..