TIL

기계학습의 유형 - 지도학습, 비지도학습, 강화학습 지도학습 feature와 정답label 이 있는 데이터 학습시키고 새로운데이터(test)로 예측하는 것 입력 데이터와 결과값이용해 특정 TARGET 예측하는 것 연속값이면 회귀 분류 - 스팸 식별, 회귀 - 시계열적인 변화 지도학습 알고리즘의 유형 의사결정트리 ,KNN,,,, 비지도학습 군집 주성분분석 강화학습 데이터마이닝 = 통계적 분석 - 데이터 탐색하고 모델을 구축하는데 주안점 기계학습과 통계적 분석(데이터마이닝)의 차이점 특징 ; 정확한 예측에 집중 | 사람들의 선택 이유 분석 내년에 병원에 갈 사람의 숫자 예측 | 사람들이 병원에 가는 이유 분석 기계학습의 학습결과는 매개변수 혹릉 가중값의 형태로 나타남 기계학습이란? 입력값에 대응하는 결과값이..

주요 단계 1. 큰그림 그리기 2. 데이터 구하기 3. 데이터 인사이트를 위한 탐색, 시각화 4. 머신러닝 알고리즘 위한 데이터 준비 5. 모델 선택하고 훈련, 상세히 조정 6. 솔루션 제시 7. 시스템 런칭, 모니터링, 유지보수 다른 측정 데이터가 주어졌을 때 구역의 중간 주택 가격 예측하기 1. 문제 정의 신호 : 머신러닝 시스템에 주입하는 정보 파이프라인 데이터 처리 컴포넌트component들이 연속되어 있는 것을 데이터 파이프라인pipeline이라고 합니다. 보통 컴포넌트들은 비동기적으로 동작합니다. 각 컴포넌트는 많은 데이터를 추출해 처리하고 그 결과를 다른 데이터 저장소로 보냅니다. 그러면 일정 시간 후 파이프라인의 다음 컴포넌트가 그 데이터를 추출해 자신의 출력 결과를 만드는 식입니다. 각 ..

머신러닝의 정의? 머신러닝은 기계가 데이터로부터 스스로 학습할 수 있게 하는 것. 학습은 어떤 작업에서 주어진 성능지표가 더 나아지는 것 2. 머신러닝이 도움을 줄 수 있는 문제 유형 네가지? 데이터 마이닝이 필요한 문제 , 복잡한 문제, 변화하는 환경에 적응해야 하는 시스템을 만드는 경우 , 수작업으로 만든 긴 규칙 리스트를 대체해야 하는 경우 3. 레이블된 훈련 세트란? 각 샘플에 대한 정답(레이블)을 가지고 있는 훈련 세트 4. 가장 많이 사용되는 지도학습 두가지? 회귀, 분류 5. 보편적인 비지도학습 네가지? 군집, 시각화, 차원 축소, 연관규칙학습 6. 사전 정보가 없는 여러 지형에서 로봇이 걸어가게 하려면 어떤 알고리즘을 사용해야 하는가? 강화 학습 7. 고객을 여러 그룹으로 분할하는데 사용하..

1. 충분하지 않은 양의 훈련 데이터 - 머신러닝 알고리즘이 잘 작동하려면 많은 데이터가 필요 2. 대표성 없는 훈련 데이터 - 샘플이 작으면 샘플링 잡음이 생김 - 큰 샘플도 표본 추출 방법이 잘못되면 대표성을 띠지 못하고 샘플링 편향이 생김 3. 낮은 품질의 데이터 훈련 데이터 정제가 필요한 경우: 일부 샘플이 이상치 - 무시하거나 수동으로 고치기 일부 샘플에 특성 몇 개가 빠짐 -- 무시, 빠진 값을 채울지(평균으로), 특성 넣은 모델과 제외한 모델 따로 훈련할지 결정 4. 관련 없는 특성 특성 공학 - 특성 선택 : 가지고 있는 특성 중 가장 유용한 특성 선택 - 특성 추출: 특성 결합해 더 유용한 특성 만듦, 차원 축소 알고리즘 - 새로운 데이터 수집해 새 특성 생성 5. 훈련 데이터 과대적합 ..

기준 : 입력 데이터의 스트림으로부터 점진적으로 학습할 수 있는가? NO! 배치학습 (오프라인 학습) 시스템 훈련 후 제품 시스템에 적용하면 더 이상 학습없이 실행된다.(학습한 것을 적용만 함) 시간과 자원을 많이 소비하므로 오프라인에서 수행된다. 보통 24시간마다 또는 매주 훈련시킴(잦은 훈련 필요) 전체 데이터셋 사용하는 훈련 - 많은 컴퓨팅 자원(CPU 메모리공간, 디스크공간 등)필요 새로운 데이터에 대해 학습할 땐 전체 데이터셋을 사용하여 시스템의 새로운 버전을 처음부터 다시 훈련 YES! 온라인 학습 데이터를 순차적으로 한 개씩 또는 미니배치(mini-batch)라 부르는 작은 묶음 단위로 주입하여 훈련시킴 매 학습 단계가 빠르고 적은 비용이 듦 -- 제품 론칭 후에도 새로운 데이터 도착하는 대..

▷ 머신러닝은 명시적인 프로그래밍 없이 컴퓨터가 학습하는 능력을 갖추게 하는 연구 분야다. ▷ 어떤 작업 T에 대한 프로그램의 성능을 P로 측정했을 때 경험 E로 인해 성능이 향상됐다면, 이 프로그램은 T와 P에 대해 E로 학습한 것이다. 스팸 필터 - 스팸메일 구분 머신러닝 프로그램 시스템이 학습하는데 사용하는 샘플 = 훈련세트 training set 각 훈련 데이터 = training instance | 샘플 이 경우 작업T = 새 메일이 스팬인지 구분하는 것 경험 E = 훈련데이터 성능 측정P는 직접 정의해야 한다. (ex - 정확히 분류된 메일의 비율) = 정확도 accuracy , 분류 작업에 사용된다. 머신러닝은 다음 분야에 뛰어나다 : 기존 솔루션으로는 많은 수동 조정과 규칙이 필요한 문제 ..

텐서플로란? 데이터 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리 anaconda 프롬포트 관리자모드로 실행 pip install --upgrade --user pip conda install tensorflow 설치 확인 python # 파이썬 실행 import tensorflow exit() #종료 TFLearn 설치 pip install tflearn 설치 확인 python # 파이썬 실행 import tflearn exit() #종료 TFLearn사용 위한 몇가지 라이브러리 설치 h5py 설치 h5py 데이터(바이너리 데이터 형식) 다룰 수 있게 해주는 라이브러리 conda install h5py scipy 숫자계산 위한 라이브러리 conda install scipy

파이썬과 아나콘다 설치 후 진행 conda create -n tfbook python=3.9 python=3.9 는 다운 받은 파이썬 버전 tfbook = 가상환경이름 conda active tfbook #환경 활성화 conda deactivate #비활성화 C드라이브 anaconda3폴더의 envs폴더에 tfbook이라는 환경 생성됨 C:\Users\anaconda3\envs

오토 인코더(autoencoder) 딥러닝에서의 비지도 학습 출력 데이터를 입력 데이터와 비슷하게 만들어 자기 자신을 재현할 수 있게 학습하는 방법 자기 자신이 정답 데이터미으로 따로 정답 데이터 필요 없음 = 비지도 학습 복잡한 문제 풀수 있도록 중간 레이어 늘릴 때, 사전 학습으로 학습 적절히 이루어지도록한다. 이때 입력 레이어쪽의 엣지 가중치는 입력 레이어로부터 전해진 데이터를 압축해서 특정량 잘 추출하도록 조정된다. 출력 레이어 쪽 가중치는 전달된 특정량은 원래의 데이터로 저정할 수 있게 조정 이러한 형태로 중간 레이어를 추가하며 깊은 네트워크 구축 학습 테크닉 레이어를 많이 만들수록 복잡한 구조 - 과학습(과적합)에 빠질 우려가 있다. 과학습? 해당 학습 데이터에는 좋지만 다른 데이터로 테스트했..

신경망 입력 레이어 - 학습 데이터(입력 데이터) 받는 레이어 출력 레이어 = 학습 결과 출력 중간 레이어(은닉 레이어) = 데이터에서 특징량을 추출하는 레이어 각 레이어에는 "○"로 표현되는 노드 배치, 노드끼리는 "-"로 표현되는 엣지(링크)로 연결 엣지는 가중치라고 부르는 값을 가지고 있다. 순전파 = 입력레이어부터 오른쪽으로 계산이 이루어짐 역전파 = 출력레이어부터 왼쪽으로 계산이 이루어짐 순전파의 구조 바로 전 레이어에 있는 노드 값과 엣지의 가중치를 곱한 뒤 모든 결과 더하기 더한 값을 활성화 함수로 변환 -- 해당 노드의 값! 다음 노드로 전달한다. 학습타입에 따른 활성화함수: 분류 - 소프트맥스 함수 회귀(수요 예측..) - 항등 함수 역전파의 구조 순전 파에서 계산한 결과를 정답 데이터와..