TIL

데이터 시각화에 적합한 데이터는? 로우 데이터 (Row data) 통계표에서 하나의 셀은 여러 데이터를 포함한다. (빨간 셀은 남자,2018년11월,50-59세 3가지 정보를 포함) 로우데이터로 통계표 만들기 = 데이터 시각화 과정 통계표 - 데이터 시각화 차트 유형 중 하나 로우데이터는 하나의 셀은 해당 셀이 포함된 열의 정보만 포함 각 열의 셀의 값은 펏번째 행(header)의 정보만 담고 있음 시각화 과정에서 특정 변수(로우데이터의 열)만 선택한다. 데이터 시각화 차트 = 로우 데이터의 변수를 특정 기준으로 데이터 조합, 계산한 결과를 시각화 요소를 활용하여 표현한 것 로우데이터의 변수 수치형 변수 = 계산 가능한 숫자 형태의 값 범주형 변수 = 개별 항목(category)로 분류되는 값 4가지 유..

[[ 0 0 1 2] [ 0 0 0 3] [ 4 5 6 7] [ 0 8 9 10] [ 0 11 12 13] [ 0 0 0 14] [ 0 0 0 15] [ 0 0 16 17] [ 0 0 18 19] [ 0 0 0 20]]자연어 = 우리가 평소에 말하는 음성이나 텍스트 자연어 처리(Natural Language Processing, NLP) : 자연어를 컴퓨터가 인식하고 처리하는 것 텍스트 전처리 과정 토큰화(tokenization) : 입력된 텍스트를 잘게 나누는 과정 keras, text 모듈의 text_to_word_sequence() 함수 : 문장을 단어 단위로 나눔 from tensorflow.keras.preprocessing.text import text_to_word_sequence text ..

MNIST 데이터셋 - 미국 국립표준기술원(NIST)이 고등학생과 인구조사국 직원 등이 쓴 손글씨를 이용해 만든 데이터로 구성 - 70,000개의 글자 이미지에 각각 0부터 9까지 이름표를 붙인 데이터셋 손글씨 이미지를 몇 %나 정확히 맞출 수 있는가? MNIST 데이터는 케라스를 이용해 불러올 수 있다. mnist.load_data() 함수 : 사용할 데이터 불러오기 X : 불러온 이미지 데이터 Y_class : 이 이미지에 0~9까지 붙인 이름표 • 학습에 사용될 부분: X_train, Y_class_train • 테스트에 사용될 부분: X_test, Y_class_test from keras.datasets import mnist (X_train, Y_class_train), (X_test, Y_c..

데이터 확인 import pandas as pd df = pd.read_csv(”../dataset/housing.csv”, delim_whitespace=True, header=None) print(df.info()) Range Index:506 entries,0 to 505 Data columns (total 14 columns): 0 506 non-null float64 1 506 non-null float64 … … … … 13 506 non-null float64 Dtypes: float64(12), int64(2) memory usage: 55.4 KB Index 506개= 총 샘플의 수는 506개 컬럼 14개= 13개의 속성과 1개의 클래스 0 1 2 3 … 12 13 0 0.00632 18..

df_pre라는 공간에 데이터를 불러옵니다. sample() 함수 : 원본 데이터의 몇 %를 사용할지를 지정, 원본 데이터에서 정해진 비율만큼 랜덤으로 뽑아오는 함수 frac = 1 : 원본 데이터의 100%를 불러오라는 의미 (frac = 0.5로 지정하면 50%만 랜덤) df_pre = pd.read_csv(’../dataset/wine.csv’, header=None) df = df_pre.sample(frac=1) print(df.info()) Data columns (total 13 columns): 0 6497 non-null float64 1 6497 non-null float64 2 6497 non-null float64 3 6497 non-null float64 4 6497 non-nul..

import pandas as pd df = pd.read_csv(’../dataset/sonar.csv’, header=None) print(df.info()) Range Index: 208 entries,0 to 207 Data columns (total 61 columns): 0 208 non-null float64 1 208 non-null float64 … … … … 59 208 non-null float64 60 208 non-null object Dtypes: float64(60), object(1) memory usage: 99.2+ KB Index가 208개이므로 총 샘플의 수는 208개이고, 컬럼 수가 61개이므로 60개의 속성과 1개의 클래스로 이루어져 있음 모든 컬럼이 실수형(flo..

1년 안에 AI 빅데이터 전문가가 되는 법 넘치는 AI 빅데이터 인재에 대한 기업 수요 창업시 개인 초기 자본이 필요 없다 다양한 분야에서 창업이 가능하다 각 분야마다 AI 빅데이터를 섞기만 하면 새로운 창업 아이템이 탄생한다. 무궁무진한 접목 분야. 채용 시장 - 인사 담당자가 이력서와 자기 소개서를 하나 하나 읽지 않고 AI 빅데이터 시스템이 자동으로 회사가 원하는 인재를 추천 해주고 점수를 매긴다-- 채용 시스템 간소화 요식업 시장 - 고객 개개인의 과거 데이터를 기반으로 각 상점을 이용할만한 최적의 고객을 추천 해주고 이들에게 쿠폰을 발급 해주는 시스템--- 매출 상승 AI 빅데이터 전문가로서 경력을 쌓아가는 방법 ① 당신의 전문성을 주변에 최대한 어필하라. ② 인스타그램 등 SNS 프로필에 자신..

샘플 수: 150 속성 수: 4 - 정보 1: 꽃받침 길이 (sepal length, 단위: cm) - 정보 2: 꽃받침 너비 (sepal width, 단위: cm) - 정보 3: 꽃잎 길이 (petal length, 단위: cm) - 정보 4: 꽃잎 너비 (petal width, 단위: cm) 클래스: Iris-setosa, Iris-versicolor, Iris-virginica 클래스가 3개 - 참(1)과 거짓(0) = 이항 분류(binary classification)와 다름 , 여러 개 중에 어떤 것이 답인지를 예측하는 문제 - 여러 개의 답 중 하나를 고르는 분류 문제 = 다중 분류(multi classification) 상관도 그래프 import pandas as pd df = pd.read..

피마인디언은 우리나라 사람과 같은 뿌리를 가진 ‘몽골로이드계’로 주식은 콩과 호박같은 식물이었고, 먹을 것은 항상 풍족하지 못했다. 이 때문에 그들은 조금만 먹어도 잘 생존할 수 있도록 몸속에 음식을 축적해 놓으려는 유전자를 가지게 되었다. 그러나 미국으로 이주하고 식생활이 서구화되면서 못 먹는 상황에 유리하게 적응한 유전자가 비만을 초래해 각종 성인병을 유발했다. 그 후 그들의 자식, 그 자식의 자식들까지 비만, 당뇨병 등 성인병 발병률이 증가하기 시작했다. 피마인디언은 세계에서 당뇨병 발병률이 가장 많은 종족이 되었고, 피마 족의 남자 63%, 여자 70%가 당뇨병에 걸렸다는 보고가 최근 발표되기도 했다. pima-indians-diabetes.csv : 768명의 인디언으로부터 8개의 정보와 1개의..

pandas 테이블 형태의 데이터를 쉽게 다룰 수 있는 파이썬 라이브러리 pandas 라이브러리 불러오기 import pandas as pd pd.함수명() row1 = 제목 --데이터 분석에는 불필요 row2 = 4개의 칼럼명 row3~8 = 분석할 데이터 -- 데이터 분석에 필요 row 9~10 = 요약 정보 -- 데이터 분석에 불필요 arrived_1= pd.read_excel('./Downloads/20-11arrived.xlsx',header=1, skipfooter =2,usecols = 'A:C') arrived_1.head(3) pd.read_excel() -엑셀 파일 불러오는 함수 안에 Path넣음 header =1 - 칼럼명 있는 위치. 0부터 시작이므로 row2 = 1 skipfoot..

폐암 수술 환자의 생존율 예측하기 전체 코드 # -*- coding: utf-8 -*- # 코드 내부에 한글을 사용가능 하게 해주는 부분입니다. # 딥러닝을 구동하는 데 필요한 케라스 함수를 불러옵니다. from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense # 필요한 라이브러리를 불러옵니다. import numpy as np import tensorflow as tf # 실행할 때마다 같은 결과를 출력하기 위해 설정하는 부분입니다. np.random.seed(3) tf.random.set_seed(3) # 준비된 수술 환자 데이터를 불러들입니다. Data_set = np.loadtxt("../data..

데이터를 어떻게 활용할 것인가? - 데이터를 보고 읽는 능력인 데이터 리터러시의 필요성 - 데이터를 목적에 맞게 활용할 수 있고 데이터의 의미를 정확히 해석할 수 있어여 한다. 데이터 리터러시의 하위 역량 데이터 수집 빠른 시간 내 데이터를 검색하고 선별 -> 필요한 데이터를 확보 데이터 관리 수집한 데이터를 분석 가능한 형태로 구조화 가공 및 분석 목적에 맞는 분석 방법을 활용해 의미 있는 결과 도출 데이터 시각화 도형과 색을 활용해 차트 같은 시각화 결과물을 만드는 것 데이터 기획 데이터 활용 과정 전반의 계획 세우기 , 분석하고자 하는 데이터 관계 이해하는 역량 필요 시각화 데이터 분석 과정에서 빠르게 데이터를 탐색하고 인사이트 도출을 돕는다 시각적 분석 = 시각화를 기반으로한 데이터 분석 시각화가..

신경망 내부의 가중치는 오차 역전파 방법을 이용해 수정한다. 경사하강법의 확장 개념 임의의 가중치를 선언하고 결괏값을 이용해 오차를 구한 뒤 이 오차가 최소인 지점으로 계속해서 조금씩 이동시킨다. 오차가 최소가 되는 점(미분했을 때 기울기가 0이 되는 지점) 찾기 계산 방향이 출력층에서 시작해 앞으로 진행. 이러한 다층 퍼셉트론에서의 최적화 과정을 오차 역전파라고 한다. = 출력층으로부터 하나씩 앞으로 되돌아가며 각 층의 가중치를 수정하는 방법 오차역전파 구동 방식 1 . 임의의 초기 가중치(W)를 준 뒤 결과(y out)를 계산한다. 2 . 계산 결과와 우리가 원하는 값 사이의 오차를 구한다. 3 . 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트한다. 4 . 위 과정을 더이상..

데이터로 모든 것을 연결하는 사회 + AI 사용확대 → AI가 일으키는 변화 (AI 학습데이터가 많아지고 있다) (5G , 사물인터넷의 보급) 1. AI가 일으키는 소비자의 변화 나만을 위해 편성된 뉴스를 매일 아침 읽어 준다 나에게 적합한 상품을 인터넷 쇼핑몰 장바구니에 넣어준다 나에게 맞지 않는 것을 사려고 하면 막아준다 자동운전의 발전으로 아이가 혼자 자동차에 탈 수 있다 사람이 대화하는 상대의 절반이 AI가 된다 아마존의 AI 인 알렉사(Alexa) - 목소리를 인식해서 다양한 요구에 응해주고, 내가 좋아하는 음악을 자동으로 추천해준다. 얼굴을 인식하고 꾸미는 앱. 학교 행사 사진 중에서 내가 찍힌 것만 골라준다. 생활, 정보취득, 쇼핑방법, 이동, 대인 커뮤니케이션 2. AI가 일으키는 회사의 ..

퍼셉트론의 한계 해결 방법 : 좌표 평면 자체에 변화를 주자! XOR 문제를 해결하기 위해서 두 개의 퍼셉트론을 한번에 계산 해야한다 ! 은닉층(hidden layer)을 만듦 퍼셉트론이 가운데 은닉층으로 자신의 가중치w와 바이어스b 값을 보내고, 은닉층에서 모인 값이 한 번 더 시그모이드 함수(σ)를 이용해 최종값으로 결과를 보낸다. 노드(node) = 은닉층에 모이는 중간 정거장 n1과 n2의 값은 각각 단일 퍼셉트론의 값과 같다. n1 = σ(x1w11 + x2w21+b1) n2 = σ(x1w12 + x2w22 + b2) 이제 각각의 가중치(w)와 바이어스(b)의 값을 정할 차례입니다. 2차원 배열로 늘어놓으면 다음과 같이 표시할 수 있습니다. 은닉층을 포함해 가중치 6개와 바이어스 3개가 필요합니..

퍼셉트론(perceptron)은 인공신경망의 한 종류로, 가장 간단한 형태의 피드포워드(Feedforward) 네트워크 - 선형분류기 로도 볼 수 있다. 퍼셉트론이 동작하는 방식은 다음과 같다. 각 노드의 가중치와 입력치를 곱한 것을 모두 합한 값이 활성함수에 의해 판단되는데, 그 값이 임계치(보통 0)보다 크면 뉴런이 활성화되고 결과값으로 1을 출력한다. 뉴런이 활성화되지 않으면 결과값으로 -1을 출력한다. 단층 퍼셉트론은 XOR 연산이 불가능하지만, 다층 퍼셉트론으로는 XOR 연산이 가능하다. 신경망을 이루는 가장 중요한 기본 단위 입력 값과 활성화 함수를 사용해 출력 값을 다음으로 넘기는 가장 작은 신경망 단위 y = wx + b (w는 가중치, b는 바이어스) 기울기 a → 가중치 w (weigh..

의료 돌봄 전문 엑시위저드 : 가나가와현과 공동으로 돌봄 필요도 예측 돌봄 관련 데이터를 AI가 학습하면 주민 한 사람당 돌봄이 필요한 정도와 골봄 비용 등 에측 현 산태 유지시 향후 변화 에측 향후 비용 대비 효율적인 돌봄 정책 수립에 기여 who? 고객(주민) why? 불편을 줄인다 which? 예측형 확장형 Ubie: 의료 현장 업무 효율화를 도모하는 AI 문진 이전에 환자가 쓴 종이 문진표와 진팔실에서릐 전자 진료기록 기재용 문진이 이중으로 발생 AI문진은 환자가 입력한 내용을 의료용어로 변환하여 진료기록에 자동으로 입력 약 5만 건의 논문 데이터를 바탕으로 AI가 환자의 증상과 지역 나이에 맞는 질문 자동으로 생성 의사의 사무 작업이 줄고 외래 문진 시간이 약 3분의 1로 단축 who? 고객, ..

자동차 교통 NTT도코모 : AI를 택시 수요에 도입해 93~95%정확도로 택시 승차 대수 예측 휴대전화 전파로부터 지역 인구를 실시간으로 예상해 AI예측에 활용 ( 500m x 500m 지역마다, 시간대마다 예측) 지역 인구에 더해 택시 운행 데이터, 강우량 등의 기상데이터, 이벤트 장소와 역, 병원, 학교 등의 시설 데이터를 예측 데이터로 활용 2개의 AI 시스템을 함께 사용해 과거 예측 정확도를 바탕으로 구분해 사용하는 하이브리드 예측 갱신은 10분 단위 30분 후 까지의 승차 대수 예측 신입 운전자라도 보통 운전자 정도의 승차 횟수 달성 가능 1대 당 연 약 28만엔의 매출 상승, 전체에 도입하면 수언엔 규모의 연 매출 상승 기대 who? 종업원(택시 운전사) why? 매출, 일의 부가가치를 높인..

로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 (classification) 기법으로도 볼 수 있다. ex) 점수가 아니라 합격 불합격만 발표되는 시험 공부한 시간 2 4 6 8 10 12 14 시험 결과 불합 불합 불합 합격 합격 합격 합격 공부한 시간에 따른 합격 여부 합격을 1 불합을 0이라고 하고 좌표 평면에 나타내면 직선의 일차방정식을 만들기 어렵다. 점들의 특성을 담아내려면 참(1)과 거짓(0)을 구분하는 S형태의 선을 긋는게 적절..

AI기획 100개 도전 아이디어 목록을 AI 도입 후의 변화량과 실현성으로 점수를 매긴다 😃 WHO? 누구를 위한? WHY? 왜 필요한가? 마이너스 줄인다 - 불만 불편 비용 작업시간 플러스를 높인다 - 만족 편리성 매출 일의 부가가치 WHEN? 언제까지 어떻게 WHICH? 어떤타입 ~형 WHAT? 할 수 있는것, 해결될 일 HOW? 어떻게 분업? T자 O 역T I 식별형 예측형 대화형 실행형 유통 소매 트라이얼 : 독자 생산 AI 카메라로 사용자를 식별해 판매촉진과 제품 보충 JINS : 어울리는 안경 추천 로손 : 신규 출점 판단 미쓰비시 상사와 로손 : 편의점에서 AI로 절전 전자상거래 IT ZOZO: AI 활용한 유사검색 기능으로 체재 시간 4배로 LOHACO: 챗봇 문의의 50% 대응 패션 프랑..