TIL

기본적으로 배열의 구조, 다차원 배열, 배열 간 연산, 정렬 등 가능 배열 객체 ndarray import numpy as np data = np.array([1,2,3,4,5]) print(data) print(type(data)) print(data.dtype) 실행 결과 [1 2 3 4 5] ☆쉼표 없음!!!! int32 배열 객체 생성하는 방법 : array() 메소드 2차원(2행 3열) 랜덤 수 생성 : random.randn() 메소드 import numpy as np data = np.random.randn(2,3) print(data) print(data.shape) print(data.dtype) [[1.275644478 -0.0237722 1.0475675] [-0.86039567 1...

주요 단계 1. 큰그림 그리기 2. 데이터 구하기 3. 데이터 인사이트를 위한 탐색, 시각화 4. 머신러닝 알고리즘 위한 데이터 준비 5. 모델 선택하고 훈련, 상세히 조정 6. 솔루션 제시 7. 시스템 런칭, 모니터링, 유지보수 다른 측정 데이터가 주어졌을 때 구역의 중간 주택 가격 예측하기 1. 문제 정의 신호 : 머신러닝 시스템에 주입하는 정보 파이프라인 데이터 처리 컴포넌트component들이 연속되어 있는 것을 데이터 파이프라인pipeline이라고 합니다. 보통 컴포넌트들은 비동기적으로 동작합니다. 각 컴포넌트는 많은 데이터를 추출해 처리하고 그 결과를 다른 데이터 저장소로 보냅니다. 그러면 일정 시간 후 파이프라인의 다음 컴포넌트가 그 데이터를 추출해 자신의 출력 결과를 만드는 식입니다. 각 ..

머신러닝의 정의? 머신러닝은 기계가 데이터로부터 스스로 학습할 수 있게 하는 것. 학습은 어떤 작업에서 주어진 성능지표가 더 나아지는 것 2. 머신러닝이 도움을 줄 수 있는 문제 유형 네가지? 데이터 마이닝이 필요한 문제 , 복잡한 문제, 변화하는 환경에 적응해야 하는 시스템을 만드는 경우 , 수작업으로 만든 긴 규칙 리스트를 대체해야 하는 경우 3. 레이블된 훈련 세트란? 각 샘플에 대한 정답(레이블)을 가지고 있는 훈련 세트 4. 가장 많이 사용되는 지도학습 두가지? 회귀, 분류 5. 보편적인 비지도학습 네가지? 군집, 시각화, 차원 축소, 연관규칙학습 6. 사전 정보가 없는 여러 지형에서 로봇이 걸어가게 하려면 어떤 알고리즘을 사용해야 하는가? 강화 학습 7. 고객을 여러 그룹으로 분할하는데 사용하..

1. 충분하지 않은 양의 훈련 데이터 - 머신러닝 알고리즘이 잘 작동하려면 많은 데이터가 필요 2. 대표성 없는 훈련 데이터 - 샘플이 작으면 샘플링 잡음이 생김 - 큰 샘플도 표본 추출 방법이 잘못되면 대표성을 띠지 못하고 샘플링 편향이 생김 3. 낮은 품질의 데이터 훈련 데이터 정제가 필요한 경우: 일부 샘플이 이상치 - 무시하거나 수동으로 고치기 일부 샘플에 특성 몇 개가 빠짐 -- 무시, 빠진 값을 채울지(평균으로), 특성 넣은 모델과 제외한 모델 따로 훈련할지 결정 4. 관련 없는 특성 특성 공학 - 특성 선택 : 가지고 있는 특성 중 가장 유용한 특성 선택 - 특성 추출: 특성 결합해 더 유용한 특성 만듦, 차원 축소 알고리즘 - 새로운 데이터 수집해 새 특성 생성 5. 훈련 데이터 과대적합 ..

기준 : 입력 데이터의 스트림으로부터 점진적으로 학습할 수 있는가? NO! 배치학습 (오프라인 학습) 시스템 훈련 후 제품 시스템에 적용하면 더 이상 학습없이 실행된다.(학습한 것을 적용만 함) 시간과 자원을 많이 소비하므로 오프라인에서 수행된다. 보통 24시간마다 또는 매주 훈련시킴(잦은 훈련 필요) 전체 데이터셋 사용하는 훈련 - 많은 컴퓨팅 자원(CPU 메모리공간, 디스크공간 등)필요 새로운 데이터에 대해 학습할 땐 전체 데이터셋을 사용하여 시스템의 새로운 버전을 처음부터 다시 훈련 YES! 온라인 학습 데이터를 순차적으로 한 개씩 또는 미니배치(mini-batch)라 부르는 작은 묶음 단위로 주입하여 훈련시킴 매 학습 단계가 빠르고 적은 비용이 듦 -- 제품 론칭 후에도 새로운 데이터 도착하는 대..

드디어 오늘 SQLD시험 결과가 나왔다 결과는 합격! 시험봤을때만 해도 턱걸이로 합격하거나 간당간당하게 떨어질 것 같은 느낌이 들었는데 예상보다는 훨씬 잘 나왔다 나는 완전 노베이스는 아니었고 학교에서 데이터베이스 수업을 들어서 기본적인 지식은 갖고 있었다 (그러나 아주아주 기초 수준) 시험은 한달 전부터 준비를 시작했고, 2주는 설렁설렁 하다가 마지막 2주는 정말 열심히 했다. 막상 시험 난이도는 막 어렵진 않기 때문에 노베이스도 한달정도 준비기간을 가지고 열심히 준비하면 충분히 합격할 수 있는 시험인 것 같다. 독학 공부법 시험 교재로는 다음 두 권을 선택했다. 1. SQL 전문가 가이드 엄청 두꺼운 개념서이다. 학교도서관에서 빌려서 보았고 굳이 구매는 추천하지 않는다. SQL 전문가 시험범위까지 포..

▷ 머신러닝은 명시적인 프로그래밍 없이 컴퓨터가 학습하는 능력을 갖추게 하는 연구 분야다. ▷ 어떤 작업 T에 대한 프로그램의 성능을 P로 측정했을 때 경험 E로 인해 성능이 향상됐다면, 이 프로그램은 T와 P에 대해 E로 학습한 것이다. 스팸 필터 - 스팸메일 구분 머신러닝 프로그램 시스템이 학습하는데 사용하는 샘플 = 훈련세트 training set 각 훈련 데이터 = training instance | 샘플 이 경우 작업T = 새 메일이 스팬인지 구분하는 것 경험 E = 훈련데이터 성능 측정P는 직접 정의해야 한다. (ex - 정확히 분류된 메일의 비율) = 정확도 accuracy , 분류 작업에 사용된다. 머신러닝은 다음 분야에 뛰어나다 : 기존 솔루션으로는 많은 수동 조정과 규칙이 필요한 문제 ..

범주형 변수(dimension)란 개별 항목(category)으로 구분되는 데이터 값을 갖는 변수를 말합니다. 일반적으로 값은 텍스트, 날짜 형태를 띱니다. 간혹 숫자 형태의 값을 갖는 변수를 범주형 변수로 활용하기도 하는데, 이 경우 수학적으로 계산할 수 없다는 점에서 수치형 변수와 구별됩니다. 이를 범주형 변수의 종류로 설명할 수 있는데, 좀 더 세분화해 ① 텍스트 ② 지역 ③ 날짜 ④ 숫자 4가지로 정리할 수 있습니다. 범주형 변수의 데이터 집산은 전체 데이터를 ‘여러 그룹으로 나누는 것’을 의미합니다. 전체 데이터를 성별, 연령별, 지역별 그룹으로 나눈 것이 예입니다. 이는 ‘수학적 계산’ 과정을 통해 데이터를 집산하는 수치형 변수의 데이터 집산과 구별됩니다. 시각화 차트는 범주형 변수와 수치형 ..

한 개 이상의 시각화 차트를 한 화면에 모아서 배치하고 데이터를 탐색할 수 있도록 설계한 화면 인터랙티브 기능 - 많은 양의 데이터를 빠르게 탐색 가능 특정 차트 내에서 클릭이나 마우스 오버와 같은 액션으로 데이터 필터링 하이라이팅 기능- 특정 차트에서 특정 요소 클릭같은 액션 시 연동된 차트의 동일 항목 데이터 요소가 하이라이팅됨 같은 항목 데이터를 빠르게 식별 가능 데이터 시각화 대시보드를 잘 만드는 법 사용자 니즈 파악하기 - 활용 대상 데이터 파악 - 핵심 지표 선정 - 인사이트 도출 / 시나리오 파악 - 목적에 적합한 시각화 차트 활용 - 한 화면의 시각화 차트는 5개 이내 - 핵심 인사이트별 개별 대시보드 제작 1. 내가 보고 싶은,분석하고 싶은 데이터는 무엇인지 파악 2. 분석 대상 데이터가..

텐서플로란? 데이터 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리 anaconda 프롬포트 관리자모드로 실행 pip install --upgrade --user pip conda install tensorflow 설치 확인 python # 파이썬 실행 import tensorflow exit() #종료 TFLearn 설치 pip install tflearn 설치 확인 python # 파이썬 실행 import tflearn exit() #종료 TFLearn사용 위한 몇가지 라이브러리 설치 h5py 설치 h5py 데이터(바이너리 데이터 형식) 다룰 수 있게 해주는 라이브러리 conda install h5py scipy 숫자계산 위한 라이브러리 conda install scipy

code 국가코드표 국적코드 국적명 0 A01 일본 1 A02 대만 2 A03 홍콩 3 A18 중국 4 A18 이란 5 A22 우즈베키스탄 6 A23 카자흐스탄 7 A99 아시아 기타 데이터 통합 - 옆으로 통합 (merge) 데이터 옆으로 통합하기(left 조건) sample_1_code = pd.merge(left=arrived_1, right=code, how='left', left_on='국적코드', right_on='국적코드') left / right 왼쪽/오른쪽 테이블 how='left' 왼쪽 테이블 기준으로 두 테이블 결합 how='inner' 데이터 옆으로 통합하기(inner 조건) left_on right_on 왼쪽/오른쪽 테이블의 기준칼럼은'국가코드' 매칭되는 값이 없는 경우 NaN으로..

파이썬과 아나콘다 설치 후 진행 conda create -n tfbook python=3.9 python=3.9 는 다운 받은 파이썬 버전 tfbook = 가상환경이름 conda active tfbook #환경 활성화 conda deactivate #비활성화 C드라이브 anaconda3폴더의 envs폴더에 tfbook이라는 환경 생성됨 C:\Users\anaconda3\envs

오토 인코더(autoencoder) 딥러닝에서의 비지도 학습 출력 데이터를 입력 데이터와 비슷하게 만들어 자기 자신을 재현할 수 있게 학습하는 방법 자기 자신이 정답 데이터미으로 따로 정답 데이터 필요 없음 = 비지도 학습 복잡한 문제 풀수 있도록 중간 레이어 늘릴 때, 사전 학습으로 학습 적절히 이루어지도록한다. 이때 입력 레이어쪽의 엣지 가중치는 입력 레이어로부터 전해진 데이터를 압축해서 특정량 잘 추출하도록 조정된다. 출력 레이어 쪽 가중치는 전달된 특정량은 원래의 데이터로 저정할 수 있게 조정 이러한 형태로 중간 레이어를 추가하며 깊은 네트워크 구축 학습 테크닉 레이어를 많이 만들수록 복잡한 구조 - 과학습(과적합)에 빠질 우려가 있다. 과학습? 해당 학습 데이터에는 좋지만 다른 데이터로 테스트했..

지리 정보가 갖고 있는 의미 맥락에 따라 데이터 인사이트를 도출할 수 있다 스몰 멀티플즈 다수의 시각화 차트 나열한 Set 장점 1. 다수의 변수를 하나에 차트에 표현 - 심플 2. 같은 형태로 표현 - 차트 하나만 읽을 수 있으면 다른 차트도 이해 가능 3. 항목 간 데이터 빠르게 비교 가능 스몰 멀티플즈 & 시계열 데이터 - 선차트 여러 항목을 시각적 패턴에 따라서 분류해 인사이트를 도출 시계열 기준 초반에 남성의 비중이 우세하다(주황색 음영) 이후 여성의 비중이 우세하다(청록색 음영)는 것을 시각적 패턴으로 한눈에 확인가능 차트 상단에 배치된 타이틀을 읽지 않고도 6개 차트의 시각적 패턴만으로도 각 직업별로 우세한 비중을 차지하는 성별의 변동이 많음을 알 수 있다. 각 주별 차트의 막대는 투석 환자..

신경망 입력 레이어 - 학습 데이터(입력 데이터) 받는 레이어 출력 레이어 = 학습 결과 출력 중간 레이어(은닉 레이어) = 데이터에서 특징량을 추출하는 레이어 각 레이어에는 "○"로 표현되는 노드 배치, 노드끼리는 "-"로 표현되는 엣지(링크)로 연결 엣지는 가중치라고 부르는 값을 가지고 있다. 순전파 = 입력레이어부터 오른쪽으로 계산이 이루어짐 역전파 = 출력레이어부터 왼쪽으로 계산이 이루어짐 순전파의 구조 바로 전 레이어에 있는 노드 값과 엣지의 가중치를 곱한 뒤 모든 결과 더하기 더한 값을 활성화 함수로 변환 -- 해당 노드의 값! 다음 노드로 전달한다. 학습타입에 따른 활성화함수: 분류 - 소프트맥스 함수 회귀(수요 예측..) - 항등 함수 역전파의 구조 순전 파에서 계산한 결과를 정답 데이터와..

1. AI혁신의 종류부터 이해하라 AI 혁신의 독자적 속성을 이해하고 혁신 프로젝트의 진행 방향을 숙지한다. AI 혁신 ? 인공지능 기술로 고도화된 긴ㅇ을 지닌 제품 및 서비스를 구현하고, 새로운 사용자 경험을 창조 핵심요소알고리즘 + 데이터 + 어플리케이션 = 비즈니스 모델 정교한 알고리즘을 개발하고, 풍부한 데이터 학습으로 성능을 고도화하여 유용한 제품 및 서비스의 형태로 앱을 만들고 , 비즈니스 모델로 새로운 경험적 가치 창출 & 수익 창출 AI 혁신의 속성 1. Technology Push 방식 = 기술의 기능을 재현해 제품을 개발하는 방식 , 성숙된 기술 지식, 기술적 통찰력 필요 2. AI는 학습을 통해 성장한다. = 학습 통한 성장, 성능 개선 3. 용도가 정해져 있지 않은 AI = 한 AI..

collections 라이브러리의 Counter 클래스 카운터 처리 ( 숫자 세는 처리) 함수 제공 from collections import Counter list = ['a','b','c','a','a','c'] 배열 list의 요소 출현 수를 세서 출력 이 때 결과는 딕셔너리 자료형 (key:value) counter = counter(list) print(counter) Counter({'a' : 3, 'c' : 2, 'b' : 1}) 출현 순서가 높은 순대로 프린트 most_common의 (매개변수 n)을 입력하면 상위 n 개의 키와 값 리턴 아무것도 입력하지 않으면 전체 리턴 for elem, cnt in counter.most_common(): print(elem,cnt) a 3 c 2 b 1

itertools 라이브러리 반복 처리하기 위한 함수 제공 import itertools list = [1,2,3,4,5] 조합 list요소의 쌍을 추출하여 출력한다 for x in itertools.combinations(list,2): print(x) (1,2) (1,3) (1,4) (1,5) (2,3) (2,4) (2,5) (3,4) (3,5) (4,5) 하나의 연속된 배열로 결합 list에 a,b,c를 결합하고 요소 값 프린트 for x in itertools.chain(list,['a','b'.'c']): print(x) 1 2 3 4 5 a b c

Numpy 라이브러리 숫자 게산, 배열 다루는 행렬 연산 import numpy as np array = np.array([[1,2,3],[4,5,6],[7,8,9]]) print('array=' ,array) print('요소의 자료형 : ',array.dtype) print('요소 수 : ',array.size) print('차원 수 : ',array.ndim) print('각 차원의 요소 수 : ',array.shape) div_array = array/2 print('배열 전체 요소를 2로 나누기: ',div_array) div_array1 = array[0][0]/2 print('배열의 첫번째 요소를 2로 나누기: ',div_array1) array= [[1,2,3],[4,5,6],[7,8,9]..

차트 영역 내 특정 요소를 더해 전달하고자 하는 인사이트 직접적으로 노출 텍스트 활용 데이터 레이블(날짜텍스트) 추가 바로 인사이트를 찾을 수 있도록 Annotation(주석) 달아 부연 설명을 차트 영역 내에 표시 선 활용 데이터 해석에 도움되는 부가 정보를 표시하기 위함 참조선 평균보다 많은지 적은지 쉽게 판단 가능 추세선 데이터 추이의 경향을 보여줌 증가추세, 감소추게, 기울기 = 데이터 변화의 폭 색 활용 회색 바탕에 파랑색으로 강조 원하는 데이터에 집중 지도 데이터의 크기를 색으로 표현한 히트맵 정전이라는 주제 - 검은 배경 인사이트 전달 효과 극대화 특정 부분만 잘라 별개의 차트 삽입