AI시대, 문과생은 이렇게 일합니다 -1-

AI시대, 문과생은 이렇게 일합니다 

 

AI 시대, 문과생은 이렇게 일합니다

 

저자 : 노구치 류지

AI - 인간과 같은 지능 실현하려는 기술

 

머신러닝 - AI의 한 종류. 학습 통해 특정 업무 수행

 

딥러닝 - 머신러닝의 한 종류, 기계가 특징을 자동으로 정의

• 이미지 영상 식별, 물체 제어, 자연 언어 대화 제어

빅데이터 통해 양질의 대량학습데이터 확보 -> 기계의 고성능화

 

 

지도학습 -  정답이 있는 과제로 하는 학습.  ex) 자동차 사진 학습시키고 Q.이 차는 어느 회사?

 

비지도 학습 -  정답이 없는 과제로 하는 학습

 

분류 - 선택지 중 고르기

회귀 - 수치 맞추기(몇프로)

클러스터링 = AI 스스로 해석하여 집합 분류

강화학습 - 지속적 학습  ex) 바둑, 자동주행

 

 

 

	식별형	예측형	대화형	실행형
대행형	대량 정보로부터 자동 인식 인간이 하던 단순 작업 -불량품 걸러내기, 얼굴 인증으로 입장, 무인계산(amazon go)	대량 로그로부터 이상치 검출 데이터로부터 예측 판단 -이상치 검출 , 대출 심사, 통신 네트워크 감시, 발전소 데이터 이상 감지	24시간 -챗봇, 대화 안내,음성 주문	인간 업무 전반을 시행 움직이는 행위 -자동주행, 공장작업, 데이터입력, 로봇서빙
확장형	사람이 발견 못하는 상황 발견 -의료, 암 검출 정확도 개선, 스포츠 선수의 플레이 상태 검출	빅데이터로부터 높은 정확도로 예측 -고객 행동 예측 , 가장 적합한 판매가격, 수요예측	고도 전문 분야, 여러 언어, 대화로 감정 분석, 전문가 대체	사람이 할 수 없는 일 -자립형 기계제어 드론

 

학습 - AI에 법칙을 가르치는 것.  AI모델 만들기

예측(추론) - 만든 AI모델로 미래 미지를 맞히는 것

설명 변수 : 예측하기 위한 값  → 머신러닝/딥러닝  → 목적 변수 : 예측하고 싶은 값

알고리즘 - AI가 학습하는 방법

 

머신러닝(지도학습)	머신러닝(비지도학습)	딥러닝
선형 회귀 - 데이터가 분포하는 규칙을 직선이라 가정하고 그 직선이 어떤 것인지 학습해서 값을 예측 로지스틱 회귀 - 발생확률 예측(0~1) 서포트 벡터 머신 - 여백 최대화 결정 트리 - 데이터를 여러 단계로 분기 트리 형태 랜덤 포레스트 - 결정트리 무작위로 구축해 결과 모음	클러스터링: 비슷한 것들로 집합을 작성	CNN : 이미지 인식 RNN : 음성 파일 동영상 문장 같은 시계열 데이터 처리 LSTM : 자연어 처리, RNN의 결점 해소, 장기 시계열 데이터 학습 GAN : 학습지도용 이미지 생성 (VAE) DQN : 강화학습을 심층학습으로 수행 ResNet : 매우 깊은 네트워크에서 높은 정확도로 학습 가능

 

 

과학습 - 이미 알고 있는 데이터에 지나치게 최적화되어 모르는 데이터로는 전혀 맞출 수 없음.

과학습 방지를 위해서는 학습 데이터 양을 늘려 치우침이 없도록 해야 함. 

 

애너테이션=주석  - AI 학습시키기 위한 답이 달린 데이터를 작성하는 작업. 이미지 영상 텍스트 음성에 대해 용도에 맞는 정답 데이터를 준비한다. 태그를 붙인다

 

시계열 모델 - AI 모델 중 시간의 흐름이라는 개념을 가지고 학습해서 미래를 예측하는 모델

 

데이터 전처리 - 데이터 클리닝과 각종 데이터 조작을 수행한다. 

 

PoC- 개발 전 사전 실증 실험. 보유하는 데이터들로 기대하는 AI 모델을 만들 수 있는지,기대한 정확도를 달성할 수 있는지 사전에 입증하는 과정 . 개념 실증

 

신경망 - 딥러닝의 기반이 되는 구조. 입력층, 은닉충, 출력층으로 나뉨. 입력층에서 많은 정보 받아 은닉층으로 전송, 학습을 반복해서 은닉층을 통과하는 정보가 중요하면 굵어지고 , 아니면 가늘어져 중요도를 가미하며 전달해간다. 은닉층부터 출력층 사이 정보릐 굵기르 조절해서 올바르다고 생각하는 것을 답으로 끌어낸다.

 

예측형 AI의 정확도를 평가하는 지표:

• 정답률 - 가장 단순한 지표
• 재현율  - 예측의 치우침 확인. 답을 줬을 때 예측한 내용이 그 담과 일치하는 비율
• 적합률 = 예측한 것 중 실제로 답이 예측값인 것의 비율
• AUC - 얼마나 균형 있게 예측하고 맞히는지를 측정하는 지표. True Positive Rate(=재현율) , False Positive Rate 의 곡선 면적(0.5~1) 커브 아래 면적이 넓을 수록 정확도 높다.

 

<AI 만드는 과정>

1. 데이터 작성 - 정답 데이터와 특징을 나타내는 데이터
2. 학습 - 알고리즘
3. 예측 -  AI모델이 미지의 데이터로부터 예측

 

   예측형 AI  는 어떻게 만드는가?

1.  기획

 

      - AI 플래닝

 

       - 목적 변수와 설명 변수의 정의

              목적변수 = AI가 무엇을 예측하게 하고 싶은가?

              설명변수 = 목적변수를 예측하게 만드는데 사용하는 값

                             목적변수를 정확하게 예측하려면 관련성 높은 설명 변수를 가능한 한 많이 수집해둬야 한다.

 

                어떤 기간의 데이터를 사용할지 (3달,1년,3년치?)

 

 

2. 데이터 작성

     - 학습 데이터 준비 - CSV준비

1. KEY를 행에
2. 목적변수와 설명변수를 열에
3. 전자상거래 사이트의 데이터에서 사용자 미래 구매를 예측하는 AI용 학습 데이터를 사용한다.

• KEY: 회원 아이디
• 설명 변수 : 연간 구매횟수,회원등급,사이트 체재 시간(14일단, 초단위), 사이트 방문횟수(14일간), 상품 페이지 열람횟수(14일간), 장바구니에 담은 개수(14일간)
• 목적 변수: 30일 이내의 구매
• 결과- 예측형 AI에서는 어떤 회원 ID의 사람이 30일 이내에 구매할지 어떨지 예측
• 과거 1년간 구매횟수와 최근 회원 등급, 최근 14일 간의 웹사이트 내 행동 데이터를 근거로 그 시점부터 30일간의 미래를 예측할 수 있다

 

    - 데이터 전처리 - 데이터 클리닝과 특징을 내는 조작을 한다

 

• 결손 값 : 벗어난 값 대응( 데이터 빠짐(결손 null) - 삭제하기=데이터클리닝 작업 이나 형식 안맞음)
  
• 각종 데이터 조작

 

3. 학습

1.  

AI 모델 구축

1. GUI 로 학습할 수 있는 간이 도구
• 학습흐름:  학습 데이터 업로드 -- 구축 모델 종류 선택(분류/회귀) -- 목적변수 선택, 설명변수 선택 -- 학습시키는 횟수 시간 설정 -- 학습 실행 버튼 누름 -- AI 모델 정확도 검증 -- AI모델 내보내기
2. AI 개발 플랫폼
3. 직접 프로그램 개발 ,AI 모델 정확도 검증

 

4. 예측

1. AI 모델 실행 - 완성한 AI모델로 예측
2. 운용, 재학습

 

 

식별형 AI 기능

1. 물체 검출 - 이미지와 영상에서 특정 물체 찾기
2. 이미지판정 - 이미지로부터 어떤 물체인지 맞히기

식별형 AI  만드는 방법

 

1.기획
           AI 플래닝
           검출,판정 대상 결정
                                         특정 인물의 얼굴 식별 , 성별연령대 식별, 동물생물 식별, 불량품 식별, 암세포 식별

2. 데이터 준비
           학습을 위한 이미지| 동영상 준비
           애너테이션 = 학습용 이미지에 태그 달기
                                        구글 AutoML Vision

3. 학습 
          AI모델 구축 & 정확도 검증

4. 예측
          AI 모델 실행 - 완성한 AI모델로 예측
          운용, 재학습

 

 

   대화형 AI   의 동작 원리 

 

1. 문자로 대화(챗봇)

                  문자입력 - 답변 추출   ⇗   규칙기반형(등록 시나리오 수동 등록)

                                                          ⇘   AI학습형(질문-답 쌍을 학습) - 문자출력

 

 

     2. 음성대화

                  대화입력 - 음성인식- 답변 추출 - 합성음성 - 대화출력

 

 

   대화형 AI   만드는 방법

 

1. 기획
1. AI 플래닝
2. 인간에게 단계적으로 확대되도록 설계
2. 데이터 준비
1. 학습용 데이터(질문-답 쌍)준비
2. 질문과 비슷한 표현과 유사어 등록 - 약간 다른 뉘앙스도 올바르게 인식 가능하게
3. 학습 
1. ai모델 구축
2. AI 모델 정확도 검증 - 정답률 측정
4. 예측
1. AI 모델 실행 - 완성한

 

 

   실행형 AI  를 제어하는 강화학습의 원리

 

aws Deep Racer - 강화학습으로 구동하는 1/18스테일의 완전 자율주행 경주용 차   강화 학습은 보상과 벌칙을 사용하는 학습법으로 좋은 선택을 반복하게 만든다. 강화 학습은 여러선택을 조합하여 결과를 내는 종합적인 대답을 끌어냄 강화 학습에서는 에이전트가 행동을 선택해서 환경으로부터 보상 받음   에이전트: 경주용 차 행동 : 주행 환경 : 코스 위의 세계   직선주행-커즈-코스이탈-직선주행- 완만한커브.. 코스이탈시 벌칙 부여, 코스안에서 최단거리로 달리고 있다면 보상 -- 적절한 주행 선택하도록

 

   실행형 AI  만드는 방법

 

1. 기획
1. AI 플래닝
2. 보상과 벌칙 설계
2. 데이터 준비
1. 시뮬레이터 셋업
2. 학습 위한 설정 - 보상과 벌칙정도, 학습시간과 횟수, 스피드와 방향 트는 정도
3. 학습 
1. ai모델 구축
2. AI 모델 정확도 검증 - 정확도측정
4. 예측
1. AI 모델 실행 - 완성한 AI모델로 예측
2. 운용, 재학습