TIL

code 국가코드표 국적코드 국적명 0 A01 일본 1 A02 대만 2 A03 홍콩 3 A18 중국 4 A18 이란 5 A22 우즈베키스탄 6 A23 카자흐스탄 7 A99 아시아 기타 데이터 통합 - 옆으로 통합 (merge) 데이터 옆으로 통합하기(left 조건) sample_1_code = pd.merge(left=arrived_1, right=code, how='left', left_on='국적코드', right_on='국적코드') left / right 왼쪽/오른쪽 테이블 how='left' 왼쪽 테이블 기준으로 두 테이블 결합 how='inner' 데이터 옆으로 통합하기(inner 조건) left_on right_on 왼쪽/오른쪽 테이블의 기준칼럼은'국가코드' 매칭되는 값이 없는 경우 NaN으로..

파이썬과 아나콘다 설치 후 진행 conda create -n tfbook python=3.9 python=3.9 는 다운 받은 파이썬 버전 tfbook = 가상환경이름 conda active tfbook #환경 활성화 conda deactivate #비활성화 C드라이브 anaconda3폴더의 envs폴더에 tfbook이라는 환경 생성됨 C:\Users\anaconda3\envs

오토 인코더(autoencoder) 딥러닝에서의 비지도 학습 출력 데이터를 입력 데이터와 비슷하게 만들어 자기 자신을 재현할 수 있게 학습하는 방법 자기 자신이 정답 데이터미으로 따로 정답 데이터 필요 없음 = 비지도 학습 복잡한 문제 풀수 있도록 중간 레이어 늘릴 때, 사전 학습으로 학습 적절히 이루어지도록한다. 이때 입력 레이어쪽의 엣지 가중치는 입력 레이어로부터 전해진 데이터를 압축해서 특정량 잘 추출하도록 조정된다. 출력 레이어 쪽 가중치는 전달된 특정량은 원래의 데이터로 저정할 수 있게 조정 이러한 형태로 중간 레이어를 추가하며 깊은 네트워크 구축 학습 테크닉 레이어를 많이 만들수록 복잡한 구조 - 과학습(과적합)에 빠질 우려가 있다. 과학습? 해당 학습 데이터에는 좋지만 다른 데이터로 테스트했..

지리 정보가 갖고 있는 의미 맥락에 따라 데이터 인사이트를 도출할 수 있다 스몰 멀티플즈 다수의 시각화 차트 나열한 Set 장점 1. 다수의 변수를 하나에 차트에 표현 - 심플 2. 같은 형태로 표현 - 차트 하나만 읽을 수 있으면 다른 차트도 이해 가능 3. 항목 간 데이터 빠르게 비교 가능 스몰 멀티플즈 & 시계열 데이터 - 선차트 여러 항목을 시각적 패턴에 따라서 분류해 인사이트를 도출 시계열 기준 초반에 남성의 비중이 우세하다(주황색 음영) 이후 여성의 비중이 우세하다(청록색 음영)는 것을 시각적 패턴으로 한눈에 확인가능 차트 상단에 배치된 타이틀을 읽지 않고도 6개 차트의 시각적 패턴만으로도 각 직업별로 우세한 비중을 차지하는 성별의 변동이 많음을 알 수 있다. 각 주별 차트의 막대는 투석 환자..

신경망 입력 레이어 - 학습 데이터(입력 데이터) 받는 레이어 출력 레이어 = 학습 결과 출력 중간 레이어(은닉 레이어) = 데이터에서 특징량을 추출하는 레이어 각 레이어에는 "○"로 표현되는 노드 배치, 노드끼리는 "-"로 표현되는 엣지(링크)로 연결 엣지는 가중치라고 부르는 값을 가지고 있다. 순전파 = 입력레이어부터 오른쪽으로 계산이 이루어짐 역전파 = 출력레이어부터 왼쪽으로 계산이 이루어짐 순전파의 구조 바로 전 레이어에 있는 노드 값과 엣지의 가중치를 곱한 뒤 모든 결과 더하기 더한 값을 활성화 함수로 변환 -- 해당 노드의 값! 다음 노드로 전달한다. 학습타입에 따른 활성화함수: 분류 - 소프트맥스 함수 회귀(수요 예측..) - 항등 함수 역전파의 구조 순전 파에서 계산한 결과를 정답 데이터와..

1. AI혁신의 종류부터 이해하라 AI 혁신의 독자적 속성을 이해하고 혁신 프로젝트의 진행 방향을 숙지한다. AI 혁신 ? 인공지능 기술로 고도화된 긴ㅇ을 지닌 제품 및 서비스를 구현하고, 새로운 사용자 경험을 창조 핵심요소알고리즘 + 데이터 + 어플리케이션 = 비즈니스 모델 정교한 알고리즘을 개발하고, 풍부한 데이터 학습으로 성능을 고도화하여 유용한 제품 및 서비스의 형태로 앱을 만들고 , 비즈니스 모델로 새로운 경험적 가치 창출 & 수익 창출 AI 혁신의 속성 1. Technology Push 방식 = 기술의 기능을 재현해 제품을 개발하는 방식 , 성숙된 기술 지식, 기술적 통찰력 필요 2. AI는 학습을 통해 성장한다. = 학습 통한 성장, 성능 개선 3. 용도가 정해져 있지 않은 AI = 한 AI..

collections 라이브러리의 Counter 클래스 카운터 처리 ( 숫자 세는 처리) 함수 제공 from collections import Counter list = ['a','b','c','a','a','c'] 배열 list의 요소 출현 수를 세서 출력 이 때 결과는 딕셔너리 자료형 (key:value) counter = counter(list) print(counter) Counter({'a' : 3, 'c' : 2, 'b' : 1}) 출현 순서가 높은 순대로 프린트 most_common의 (매개변수 n)을 입력하면 상위 n 개의 키와 값 리턴 아무것도 입력하지 않으면 전체 리턴 for elem, cnt in counter.most_common(): print(elem,cnt) a 3 c 2 b 1

itertools 라이브러리 반복 처리하기 위한 함수 제공 import itertools list = [1,2,3,4,5] 조합 list요소의 쌍을 추출하여 출력한다 for x in itertools.combinations(list,2): print(x) (1,2) (1,3) (1,4) (1,5) (2,3) (2,4) (2,5) (3,4) (3,5) (4,5) 하나의 연속된 배열로 결합 list에 a,b,c를 결합하고 요소 값 프린트 for x in itertools.chain(list,['a','b'.'c']): print(x) 1 2 3 4 5 a b c

Numpy 라이브러리 숫자 게산, 배열 다루는 행렬 연산 import numpy as np array = np.array([[1,2,3],[4,5,6],[7,8,9]]) print('array=' ,array) print('요소의 자료형 : ',array.dtype) print('요소 수 : ',array.size) print('차원 수 : ',array.ndim) print('각 차원의 요소 수 : ',array.shape) div_array = array/2 print('배열 전체 요소를 2로 나누기: ',div_array) div_array1 = array[0][0]/2 print('배열의 첫번째 요소를 2로 나누기: ',div_array1) array= [[1,2,3],[4,5,6],[7,8,9]..

차트 영역 내 특정 요소를 더해 전달하고자 하는 인사이트 직접적으로 노출 텍스트 활용 데이터 레이블(날짜텍스트) 추가 바로 인사이트를 찾을 수 있도록 Annotation(주석) 달아 부연 설명을 차트 영역 내에 표시 선 활용 데이터 해석에 도움되는 부가 정보를 표시하기 위함 참조선 평균보다 많은지 적은지 쉽게 판단 가능 추세선 데이터 추이의 경향을 보여줌 증가추세, 감소추게, 기울기 = 데이터 변화의 폭 색 활용 회색 바탕에 파랑색으로 강조 원하는 데이터에 집중 지도 데이터의 크기를 색으로 표현한 히트맵 정전이라는 주제 - 검은 배경 인사이트 전달 효과 극대화 특정 부분만 잘라 별개의 차트 삽입