TIL

▷ 머신러닝은 명시적인 프로그래밍 없이 컴퓨터가 학습하는 능력을 갖추게 하는 연구 분야다. ▷ 어떤 작업 T에 대한 프로그램의 성능을 P로 측정했을 때 경험 E로 인해 성능이 향상됐다면, 이 프로그램은 T와 P에 대해 E로 학습한 것이다. 스팸 필터 - 스팸메일 구분 머신러닝 프로그램 시스템이 학습하는데 사용하는 샘플 = 훈련세트 training set 각 훈련 데이터 = training instance | 샘플 이 경우 작업T = 새 메일이 스팬인지 구분하는 것 경험 E = 훈련데이터 성능 측정P는 직접 정의해야 한다. (ex - 정확히 분류된 메일의 비율) = 정확도 accuracy , 분류 작업에 사용된다. 머신러닝은 다음 분야에 뛰어나다 : 기존 솔루션으로는 많은 수동 조정과 규칙이 필요한 문제 ..

텐서플로란? 데이터 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리 anaconda 프롬포트 관리자모드로 실행 pip install --upgrade --user pip conda install tensorflow 설치 확인 python # 파이썬 실행 import tensorflow exit() #종료 TFLearn 설치 pip install tflearn 설치 확인 python # 파이썬 실행 import tflearn exit() #종료 TFLearn사용 위한 몇가지 라이브러리 설치 h5py 설치 h5py 데이터(바이너리 데이터 형식) 다룰 수 있게 해주는 라이브러리 conda install h5py scipy 숫자계산 위한 라이브러리 conda install scipy

파이썬과 아나콘다 설치 후 진행 conda create -n tfbook python=3.9 python=3.9 는 다운 받은 파이썬 버전 tfbook = 가상환경이름 conda active tfbook #환경 활성화 conda deactivate #비활성화 C드라이브 anaconda3폴더의 envs폴더에 tfbook이라는 환경 생성됨 C:\Users\anaconda3\envs

오토 인코더(autoencoder) 딥러닝에서의 비지도 학습 출력 데이터를 입력 데이터와 비슷하게 만들어 자기 자신을 재현할 수 있게 학습하는 방법 자기 자신이 정답 데이터미으로 따로 정답 데이터 필요 없음 = 비지도 학습 복잡한 문제 풀수 있도록 중간 레이어 늘릴 때, 사전 학습으로 학습 적절히 이루어지도록한다. 이때 입력 레이어쪽의 엣지 가중치는 입력 레이어로부터 전해진 데이터를 압축해서 특정량 잘 추출하도록 조정된다. 출력 레이어 쪽 가중치는 전달된 특정량은 원래의 데이터로 저정할 수 있게 조정 이러한 형태로 중간 레이어를 추가하며 깊은 네트워크 구축 학습 테크닉 레이어를 많이 만들수록 복잡한 구조 - 과학습(과적합)에 빠질 우려가 있다. 과학습? 해당 학습 데이터에는 좋지만 다른 데이터로 테스트했..

신경망 입력 레이어 - 학습 데이터(입력 데이터) 받는 레이어 출력 레이어 = 학습 결과 출력 중간 레이어(은닉 레이어) = 데이터에서 특징량을 추출하는 레이어 각 레이어에는 "○"로 표현되는 노드 배치, 노드끼리는 "-"로 표현되는 엣지(링크)로 연결 엣지는 가중치라고 부르는 값을 가지고 있다. 순전파 = 입력레이어부터 오른쪽으로 계산이 이루어짐 역전파 = 출력레이어부터 왼쪽으로 계산이 이루어짐 순전파의 구조 바로 전 레이어에 있는 노드 값과 엣지의 가중치를 곱한 뒤 모든 결과 더하기 더한 값을 활성화 함수로 변환 -- 해당 노드의 값! 다음 노드로 전달한다. 학습타입에 따른 활성화함수: 분류 - 소프트맥스 함수 회귀(수요 예측..) - 항등 함수 역전파의 구조 순전 파에서 계산한 결과를 정답 데이터와..

collections 라이브러리의 Counter 클래스 카운터 처리 ( 숫자 세는 처리) 함수 제공 from collections import Counter list = ['a','b','c','a','a','c'] 배열 list의 요소 출현 수를 세서 출력 이 때 결과는 딕셔너리 자료형 (key:value) counter = counter(list) print(counter) Counter({'a' : 3, 'c' : 2, 'b' : 1}) 출현 순서가 높은 순대로 프린트 most_common의 (매개변수 n)을 입력하면 상위 n 개의 키와 값 리턴 아무것도 입력하지 않으면 전체 리턴 for elem, cnt in counter.most_common(): print(elem,cnt) a 3 c 2 b 1

itertools 라이브러리 반복 처리하기 위한 함수 제공 import itertools list = [1,2,3,4,5] 조합 list요소의 쌍을 추출하여 출력한다 for x in itertools.combinations(list,2): print(x) (1,2) (1,3) (1,4) (1,5) (2,3) (2,4) (2,5) (3,4) (3,5) (4,5) 하나의 연속된 배열로 결합 list에 a,b,c를 결합하고 요소 값 프린트 for x in itertools.chain(list,['a','b'.'c']): print(x) 1 2 3 4 5 a b c

Numpy 라이브러리 숫자 게산, 배열 다루는 행렬 연산 import numpy as np array = np.array([[1,2,3],[4,5,6],[7,8,9]]) print('array=' ,array) print('요소의 자료형 : ',array.dtype) print('요소 수 : ',array.size) print('차원 수 : ',array.ndim) print('각 차원의 요소 수 : ',array.shape) div_array = array/2 print('배열 전체 요소를 2로 나누기: ',div_array) div_array1 = array[0][0]/2 print('배열의 첫번째 요소를 2로 나누기: ',div_array1) array= [[1,2,3],[4,5,6],[7,8,9]..

[[ 0 0 1 2] [ 0 0 0 3] [ 4 5 6 7] [ 0 8 9 10] [ 0 11 12 13] [ 0 0 0 14] [ 0 0 0 15] [ 0 0 16 17] [ 0 0 18 19] [ 0 0 0 20]]자연어 = 우리가 평소에 말하는 음성이나 텍스트 자연어 처리(Natural Language Processing, NLP) : 자연어를 컴퓨터가 인식하고 처리하는 것 텍스트 전처리 과정 토큰화(tokenization) : 입력된 텍스트를 잘게 나누는 과정 keras, text 모듈의 text_to_word_sequence() 함수 : 문장을 단어 단위로 나눔 from tensorflow.keras.preprocessing.text import text_to_word_sequence text ..

MNIST 데이터셋 - 미국 국립표준기술원(NIST)이 고등학생과 인구조사국 직원 등이 쓴 손글씨를 이용해 만든 데이터로 구성 - 70,000개의 글자 이미지에 각각 0부터 9까지 이름표를 붙인 데이터셋 손글씨 이미지를 몇 %나 정확히 맞출 수 있는가? MNIST 데이터는 케라스를 이용해 불러올 수 있다. mnist.load_data() 함수 : 사용할 데이터 불러오기 X : 불러온 이미지 데이터 Y_class : 이 이미지에 0~9까지 붙인 이름표 • 학습에 사용될 부분: X_train, Y_class_train • 테스트에 사용될 부분: X_test, Y_class_test from keras.datasets import mnist (X_train, Y_class_train), (X_test, Y_c..