TIL

넘파이로 다차원 배열을 계산할줄 알면 신경망을 효율적으로 계산할 수 있습니다. 다차원 배열을 숫자의 집합이 기본이 됩니다. 숫자를 N차원으로 나열하는 것 뿐만아니라 한줄로 나열하는것도 다차원 배열의 일부입니다. 1차원 배열은 우리가 익히 알고 있는 리스트 형태의 배열입니다. 배열의 차원수는 np.ndim()으로 확인할 수 있습니다. 또한 배열의 형상은 S.shape로 확인할 수 있죠 shape는 튜플로 반환합니다. 예를들어 2차원 배열일때는 (4,3) 3차원일때는 (4,3,2)와 같은 값을 반환합니다. import numpy as np A = np.array([[1,2],[3,4],[5,6]]) print(A) # [[1 2] # [3 4] # [5 6]] np.ndim(A) #2 A.shape #(3,..

앞서 봤던 퍼셉트론의 함수는 임계값을 경계로 출력이 나뉘는 것을 볼 수 있다. 이런 활성화 함수를 계단 함수라고 한다. 즉, 퍼셉트론에서는 활성화함수로 계단 함수를 사용한다. 퍼셉트론의 기반이 되는 구조는 다음과 같고, 이를 TLU라 한다. 퍼셉트론에서는 계단 함수가 아닌 시그모이드 함수를 활성화 함수로 사용한다. e는 자연상수로 2.7182...의 값을 가지고 있다. 신경망에서는 시그모이드 함수를 활성화 함수로 사용하여 신호를 변환하고, 그 변환된 신호를 다음 뉴런에 전달한다. 퍼셉트론과 신경망의 주된 차이는 활성화 함수를 무엇으로 쓰느냐의 차이이다. 이 두 함수를 비교해보자. 계단 함수 파이썬으로 구현한 계단 함수는 입력이 0을 넘으면 1을 출력하고, 그 외에는 0을 출력한다. def stepfunc..

인공신경망(ANN, artificial neural network)은 딥러닝의 핵심으로, 뇌의 뉴런의 연결에서 영감을 받은 머신러닝 모델입니다. 인공신경망은 성능과 확장성이 좋아 이미지 분류, 음성인식 서비스, 추천, 강화학습등 대규모 머신러닝 문제의 성능을 높이는데 사용됩니다. a는 생물학적인 뉴런의 그림입니다. c처럼 뉴런의 시냅스는 또 다른 뉴런과 이어져 있습니다. 뇌에는 수십억개의 거대한 뉴런이 연결되어 있습니다. 이러한 생물학적 뉴런에서 착안한 모델이 인공 뉴런입니다. 퍼셉트론 간단한 인공 신경망구조 중 하나로, 다수의 입력을 받으면 1개의 신호를 출력하는 구조로 되어있습니다. 1 또는 0 둘중 하나를 출력하는 퍼셉트론을 생각해봅시다. x1,x2 : 입력 신호, w1,w2: 가중치(각 신호의 영..

원핫인코딩 - 숫자가 아닌 범주형 특징을 숫자형으로 표현하는 방법 - 예를 들어, [0-9]의 d값을 갖는 범주형 숫자는 d번째 위치만 1로 하고 나머지는 항상 0값을 갖는 벡터로 인코딩할 수 있다. - 학습 알고리즘이 수치형 함수를 처리하게 작성됐을 때 데이터마이닝에서 사용한다. 소프트맥스 - 임의의 실수 값을 갖는 k차원의 벡터를 (0,1)사이의 실수 값으로 축소한다. 모델을 정의한 다음, 모델을 텐서플로에서 실행할 수 있도록 컴파일해야한다. 컴파일 과정에서의 선택사항 : - 옵티마이저(모델 학습할 때 가중치 업데이트 알고리즘) - 최적화하는데 사용할 목적함수 지정 - 학습한 모델 평가 목적함수 MSE - 예측 값과 실제 값 차이의 평균 제곱 오차 이진 크로스엔트로피 - 이진로그손실. 이진 레이블 예..

신경망은 포유류의 신경계에서 영감을 받은 머신러닝 모델의 한 종류 각 신경망은 서로 연결된 뉴런들로 구성되어 있으며, 특정상태가 되면 메세지를 교환하는 계층(layer)로 구성된다. 초기 연구는 1950년대 후반 퍼셉트론에서 시작했다. 퍼셉트론은 두 계층으로 간단한 연산에 사용했고, 1960년대 후반에 역전파 알고리즘의 소개로 다층신경망학습이 가능해지면서 확장됐다. 이러한 개선의 역사는 많은 수의 뉴런 계층을 갖는 신경망 종류인 딥러닝을 위한 발판이 됐다. 케라스Keras - 딥러닝 계산을 위한 작고 효율적인 파이썬 라이브러리 퍼셉트론 퍼셉트론은 n개의 크기를 갖는 입력 벡터(x1,x2,,,,,xn)가 주어지면 예(1)이나 아니오(0)을 출력하는 간단한 알고리즘 f(x) = 1 : wx+b>0 0 : o..

기계학습의 유형 - 지도학습, 비지도학습, 강화학습 지도학습 feature와 정답label 이 있는 데이터 학습시키고 새로운데이터(test)로 예측하는 것 입력 데이터와 결과값이용해 특정 TARGET 예측하는 것 연속값이면 회귀 분류 - 스팸 식별, 회귀 - 시계열적인 변화 지도학습 알고리즘의 유형 의사결정트리 ,KNN,,,, 비지도학습 군집 주성분분석 강화학습 데이터마이닝 = 통계적 분석 - 데이터 탐색하고 모델을 구축하는데 주안점 기계학습과 통계적 분석(데이터마이닝)의 차이점 특징 ; 정확한 예측에 집중 | 사람들의 선택 이유 분석 내년에 병원에 갈 사람의 숫자 예측 | 사람들이 병원에 가는 이유 분석 기계학습의 학습결과는 매개변수 혹릉 가중값의 형태로 나타남 기계학습이란? 입력값에 대응하는 결과값이..

주요 단계 1. 큰그림 그리기 2. 데이터 구하기 3. 데이터 인사이트를 위한 탐색, 시각화 4. 머신러닝 알고리즘 위한 데이터 준비 5. 모델 선택하고 훈련, 상세히 조정 6. 솔루션 제시 7. 시스템 런칭, 모니터링, 유지보수 다른 측정 데이터가 주어졌을 때 구역의 중간 주택 가격 예측하기 1. 문제 정의 신호 : 머신러닝 시스템에 주입하는 정보 파이프라인 데이터 처리 컴포넌트component들이 연속되어 있는 것을 데이터 파이프라인pipeline이라고 합니다. 보통 컴포넌트들은 비동기적으로 동작합니다. 각 컴포넌트는 많은 데이터를 추출해 처리하고 그 결과를 다른 데이터 저장소로 보냅니다. 그러면 일정 시간 후 파이프라인의 다음 컴포넌트가 그 데이터를 추출해 자신의 출력 결과를 만드는 식입니다. 각 ..

머신러닝의 정의? 머신러닝은 기계가 데이터로부터 스스로 학습할 수 있게 하는 것. 학습은 어떤 작업에서 주어진 성능지표가 더 나아지는 것 2. 머신러닝이 도움을 줄 수 있는 문제 유형 네가지? 데이터 마이닝이 필요한 문제 , 복잡한 문제, 변화하는 환경에 적응해야 하는 시스템을 만드는 경우 , 수작업으로 만든 긴 규칙 리스트를 대체해야 하는 경우 3. 레이블된 훈련 세트란? 각 샘플에 대한 정답(레이블)을 가지고 있는 훈련 세트 4. 가장 많이 사용되는 지도학습 두가지? 회귀, 분류 5. 보편적인 비지도학습 네가지? 군집, 시각화, 차원 축소, 연관규칙학습 6. 사전 정보가 없는 여러 지형에서 로봇이 걸어가게 하려면 어떤 알고리즘을 사용해야 하는가? 강화 학습 7. 고객을 여러 그룹으로 분할하는데 사용하..

1. 충분하지 않은 양의 훈련 데이터 - 머신러닝 알고리즘이 잘 작동하려면 많은 데이터가 필요 2. 대표성 없는 훈련 데이터 - 샘플이 작으면 샘플링 잡음이 생김 - 큰 샘플도 표본 추출 방법이 잘못되면 대표성을 띠지 못하고 샘플링 편향이 생김 3. 낮은 품질의 데이터 훈련 데이터 정제가 필요한 경우: 일부 샘플이 이상치 - 무시하거나 수동으로 고치기 일부 샘플에 특성 몇 개가 빠짐 -- 무시, 빠진 값을 채울지(평균으로), 특성 넣은 모델과 제외한 모델 따로 훈련할지 결정 4. 관련 없는 특성 특성 공학 - 특성 선택 : 가지고 있는 특성 중 가장 유용한 특성 선택 - 특성 추출: 특성 결합해 더 유용한 특성 만듦, 차원 축소 알고리즘 - 새로운 데이터 수집해 새 특성 생성 5. 훈련 데이터 과대적합 ..

기준 : 입력 데이터의 스트림으로부터 점진적으로 학습할 수 있는가? NO! 배치학습 (오프라인 학습) 시스템 훈련 후 제품 시스템에 적용하면 더 이상 학습없이 실행된다.(학습한 것을 적용만 함) 시간과 자원을 많이 소비하므로 오프라인에서 수행된다. 보통 24시간마다 또는 매주 훈련시킴(잦은 훈련 필요) 전체 데이터셋 사용하는 훈련 - 많은 컴퓨팅 자원(CPU 메모리공간, 디스크공간 등)필요 새로운 데이터에 대해 학습할 땐 전체 데이터셋을 사용하여 시스템의 새로운 버전을 처음부터 다시 훈련 YES! 온라인 학습 데이터를 순차적으로 한 개씩 또는 미니배치(mini-batch)라 부르는 작은 묶음 단위로 주입하여 훈련시킴 매 학습 단계가 빠르고 적은 비용이 듦 -- 제품 론칭 후에도 새로운 데이터 도착하는 대..