TIL

클러스터링(Clustering)은 데이터에서 표면상으로는 안 보이는 패턴을 찾을 수 있게 해준다. 중요한 것은 몇 개의 클러스터가 새분화를 잘 해내는지 찾아내는 것이다. 클러스터링의 대표적인 방법은 k-means clustering 이 있다. k-means clustering - group similar data points - iterative approach (반복적인 접근법) - Starting point : Randomly selected cluster centers , Variable = you're interested in (location, demographics,,,) ----> revaluate hoe good your random choice was and improve it! 과정 1..

*마케팅을 위한 데이터 분석 방법론에 대해 공부한 내용을 정리했습니다. 세분화 segmentation - 공통된 특성을 가지고 있는 사람들을 그룹별로 분류하는 것 - 플랫폼(페이스북, 구글,,,,)에서 타켓팅하는데에 쓰일 수 있다 - 타겟팅 전에 세분화 먼저 수행해야 한다. 세분화는 2가지 형태로 나타난다. 1. developed from a persona - 그 사람의 구성요소에 따라 분류 (나이,직업 등) 2. developed from data analytics - k-means clustering, statistical analysis,,, 세분화를 하는 이유? - 세분화 helps us reach the right users! 세분화의 변수 : demograpic(인구통계학적), psychogr..

binary classification은 종류가 2개로 나뉘어진 데이터가 있고 이를 분류하는 문제입니다. 이 문제는 예측 값이 연속적인 값이 아닌 0 또는 1입니다. 예시 이메일 : 스팸인가 / 아닌가? 온라인 거래: Fraudulent Financial Statement (FFS)인가 / 아닌가? 종양 : 악성종양(암)인가 / 양성인가? 이때는 우리의 예측 값을 확률 값으로 만든 다음에 확률 값이 우리의 기준보다 높으면 1, 아니면 0으로 분류합니다. 이러한 문제를 푸는 방법을 logistic regression이라고 합니다. 나누는 종류가 3개이상이면 - multi classification Logistic regression을 진행하기 위해서는 출력 값을 0과 1의 값으로 맞춰주어야 합니다. 이를 ..

실제로 예측을 하고자 할 떄 보통 하나 이상의 변수들을 고려해야 합니다. multiple linear regression은 다양한 입력 변수들을 사용하는 예측모델입니다. 위 이미지를 예로 설명하면, 집가격(y)를 예측한다고 할 때, x1(침실수), x2=층 수, x3=지어진연수, x4=크기 4가지 feature(n=4)가 있습니다 . feature= dimension=attribute x(2)는 =[3 2 40 127](열벡터로)가 되고, x3(2)는 30 입니다 default는 한상 열벡터이고, row vector 즉 [3 2 40 127]로 표현하고 싶다하면, transpose를 사용하여 표현합니다. 예측 모델 식은 다음과 같습니다. 세타0,1,2,3은 각 변수의 가중치이고, x1,2,3는 각 fea..

집 사이즈에 따른 가격을 예측하는 One Variable Regression을 생각해보자. 데이터의 분포를 보면, 예측하려는 직선값이 안 나타날 수도 있다. (사이즈와 가격이 비례하지 않음) 이때, 변수값을 그대로 곱하는것이 아닌 루트x나 x의 거듭제곱, sinx 등 x를 변환한 값을 새로운 칼럼으로 추가하여 예측모델을 생성할 수 있다. 이를 다중회귀하면 된다.(lost function, gradient descent 수행하면 됨) 파이썬에서 사이킷런의 PolynomialFeatures를 사용할 수 있다. from sklearn.preprocessing import PolynomialFeatures https://scikit-learn.org/stable/modules/generated/sklearn.p..

https://www.kaggle.com/competitions/store-sales-time-series-forecasting Store Sales - Time Series Forecasting | Kaggle www.kaggle.com 대회 개요 - 에콰도르에 위치한 Favorita 매장에서 판매되는 수천 개의 제품군의 매출을 예측 데이터 셋,변수 설명 1. train.csv - store_nbr : 제품이 판매되는 스토어 id family : 판매되는 제품의 종류 더보기 ( ['AUTOMOTIVE', 'BABY CARE', 'BEAUTY', 'BEVERAGES', 'BOOKS', 'BREAD/BAKERY', 'CELEBRATION', 'CLEANING', 'DAIRY', 'DELI', 'EGGS',..

과거 데이터 기반으로, 입력 주어졌을 때 출력(예측값)이 나와야 한다. 예측하고자 하는 변수 = target variable(타겟 변수) 타겟 변수가 실수이면 = regression problem, 타겟 변수가 카테고리 변수이면 = classification (대표적인 방법론: 로지스틱 회귀) 이 둘은 supervised learning(지도 학습)이다. unsupervised learning(비지도 학습)에는 clustring(k-means) 등이 있다. 선형회귀 Linear Regression - 종속 변수 𝑦와 한개 이상의 독립 변수 𝑋와의 선형 관계를 모델링(=1차로 이루어진 직선을 구한다)하는 방법론 - 최적의 직선을 찾아 독립 변수와 종속 변수 사이의 관계를 도출하는 과정 독립 변수= 입력 값..

선형대수학을 공부하면서 첫번쨰 고비가 기저 벡터에서 찾아와 버렸다. 설명을 찾아봐도 너무 어려워서 이해를 못했었다. 완벽하게 100% 안다고는 할 수 없지만 그래도 여태까지 이해한 내용을 바탕으로 기저 벡터에 대한 설명을 해보겠다. 기저 벡터란 어떤 공간을 이루는 원소 중 가장 엑기스인 원소이다. 이때, 어떤 공간은 대부분 좌표평면으로 많이 설명하는 것 같다. 예를 들어 어떤 공간이 x축, y축으로 이루어진 좌표평면(R^2)이면, {(1,0),(0,1)}은 기저 벡터이다. 이 두 좌표에 어떤 실수를 곱하면, 즉 벡터 조합으로 좌표평면에 있는 모든 점을 표현할 수 있기 때문이다. 그러나 {(1,0),(2,0)}은 기제가 될 수 없다. 아무리 큰 수를 곱해도, x축 위에서만 점이 찍히기 때문에 모든 좌표평면..

튜플 언패킹 예시 - 리스트는 ()를 []로 바꿔주면 리스트 패킹, 언패킹이 가능하다. a, b = (1, 10) print(a) print(b) 1 10 a, *b, c = (1, 2, 3, 4, 5) print(a) print(b) print(c) 1 [2,3,4] 5 *은 나머지를 묶어준다고 생각하면 편하다.

value1 if condition else value2 condition이 참이면 value1, 거짓이면 value2를 반환. if 와 else로 나뉘는 조건문에서 사용 가능! 예시 value = 10 "odd" if value%2 else "even" 결과 "even"

https://docs.python.org/ko/3/library/functions.html 내장 함수 — Python 3.11.0 문서 내장 함수 파이썬 인터프리터에는 항상 사용할 수 있는 많은 함수와 형이 내장되어 있습니다. 여기에서 알파벳 순으로 나열합니다. abs(x, /) 숫자의 절댓값을 돌려줍니다. 인자는 정수, 실수 또는 docs.python.org

- 딕셔너리의 키만 모여있는 형태 빈 집합 선언 s = set() s=set([1,2,3,'set']) print(s) s.add(4) s.add('set') print(s)#중복x s.remove(2) #s.remove(99)#에러발생 s.discard(99)#에러 무시 print(s) s.update([3,99,True,None]) print(s) s.clear() print(s) result {1, 2, 3, 'set'} {1, 2, 3, 4, 'set'} {1, 3, 4, 'set'} {None, 1, 3, 4, 99, 'set'} set() 합집합, 교집합, 차집합, 배타적 합집합 연산 가능 s1 &s2 s1 | s2 s1 - s2 s1 ^ s2

- 매핑하기 위함 - key와 value로 이루어짐 {key1: Value1,key2:Value2,,,} key에는 hashable한 것들을 넣을 수 있음 value는 제한이 없음 빈 딕셔너리 선언 dict={} 실행 예시 dictionary={} dictionary['first']=1 dictionary['tuple']=(1,2,3) dictionary[(4,'tuple')]=1.5 print(dictionary) ###{'first': 1, 'tuple': (1, 2, 3), (4, 'tuple'): 1.5} print(dictionary['tuple'])#(1, 2, 3) print(dictionary[4,'tuple'])#1.5 dictionary['first']='one' #중복은 덮어씌워짐 p..

1. 인터프리터 언어이다. - 인터프리터는 컴파일과 대비되는 개념으로, 코드 파일(.py)를 컴퓨터에 작동하게끔 넣을 때 컴퓨터 언어인 0과 1로 변환해야한다. 이 과정에서 쓰는 두가지 방법이 컴파일과 인터프리터이다. 대표적인 컴파일 언어는 C이고, 인터프리터언어는 python, js 등이 있다. 컴파일 언어는 고대로 쓰면 되지만, 인터프리터언어는 코드와 인터프리터가 있어야 한다. 2. 완전 객체 지향 언어이다. int,, float,,, 등등 모두가 객체이다. 3. 동적 타이핑 언어이다. - 자바의 경우 변수마다 자료형을 명시해야하지만, 파이썬은 a=3이라고 입력해도 자동으로 int로 인식한다. 4. 쉬운 문법과 다양한 기능을 가지고 있다. 5. 다양한 곳에서 널리 쓰인다. 6. 데이터 가공에서 두각을..

힙은 이진트리의 한 종류로, 값이 최대 혹은 최소 노드에 빠르게 접근해야 할 때 사용한다. 힙 자료구조를 설계하는 방법에는 2가지, max heap(최대힙)과 min heap(최소 힙)이 있다. 최대힙은 루트 노드가 힙에서 가장 크고, 노드의 각 값은 부모노드보다 작거나 같다 최소힙은 루트 노드가 힙에서 가장 작고, 노드의 각 값은 부모노드보다 크거나 같다

이진트리 - 가장 많이 사용되는 데이터 구조, 각 부모노드가 항상 최대 2개의 자식노드와 붙어 있음 이진 탐색 트리 : 이진 트리의 가장 일반적인 유형, 노드의 key 기준으로 정렬한 상태 - 정렬 기준 1. 노드의 왼쪽 서브트리에는 노드의 키보다 작은 키를 가진 노드만! 2. 노드의 오른쪽 서브트리는 노드의 키보다 큰 키를 가진 노드만! 3. 좌우 서브 트리도 각각 이진 탐색 트리 4. 각 노드에 중복 키(key)는 없음! 그래서.. 가장 큰 키를 가진 노드는 가장 오른쪽 서브트리 말단(80) 가장 작은 키를 가진 노드는 가장 왼쪽 서브트리 말단(1) 이진탐색트리로 할 수 있는 동작은 1. 트리에 노드 추가 2. 노드 삭제 3. 노트 선택해 탐색하는 키가 존재하는지 확인

자료구조는 선형 자료구조와 비선형 자료구조로 나뉜다. 선형자료구조와 비선형 자료구조는 무엇일까? 선형 자료구조란 하나의 자료 뒤에 하나의 자료가 존재,즉 순차적으로 이어진 형태를 생각하면 된다. 1:1의 선형관계를 이루고 있다 비선형 자료구조란 하나/여러 개의 자료 뒤에 여러 개의 자료가 존재하는 형태로, 1:n, 또는 n:n 의 관계를 생각하면 된다.(주로 계층 형태)

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 이전 글과 이어지는 내용입니다. - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBERT fine-tuning은 사전학습된 문장의 문맥 정보 등을 고려한 weight 값을 가지고, 사전훈련된 BERT의 파라미터를 그대로 가져와 문서분류, 개체명인식과 같은 과제에 적용 할 수 있도록 모델을 업데이트하는 과정입니다. fine-tuning은 pre-tr..

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 이전 글과 이어지는 내용입니다. - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBert BERT는 문맥을 반영한 임베딩(Conatextual Embedding)을 가능하게 해주는 범용 언어 표현 모델입니다. BERT는 크게 pre-training(사전 학습), fine-tuning(미세 조정) 두 단계로 나눌 수 있습니다. Pre-training..

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 자연어처리에서 가장 기본이 되고 중요한 논문 중 하나인 버트 논문입니다. 원문을 바탕으로 설명하였으며, 이해를 돕기 위한 몇 가지 한국어 예시를 리서치하여 넣었습니다! 아마 5부분으로 나누어 설명할 것 같습니다! - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBert BERT는 구글에서 개발한 NLP 사전 훈련 모델로, 특정 분야에 국한된 기술이..