자연어처리 모델이 태스크를 수행하는 방법은? (인 컨텍스트 러닝, 제로샷, 원샷 퓨샷 러닝)

우리는 BERT, GPT 등 다양한 프리트레인 된 모델들을 가지고 어떤 테스크를 수행합니다. 예를 들면, 문서 분류, 감정분석, 질의 응답 , 개체명인식,,, 과 같은 일들을 말이죠. 이때 이러한 테스크들은 다운스트림 태스크 (downstream task)라고 합니다. 반대로 upstream task는 프리트레인 시키는 학습 방식이라고 이해하면 될 것 같습니다. 

data1 ->  model -> upstream task (ex- MLM, 다음 단어 맞추기) (pretrain)

data2 -> model(위랑 같은 모델, 이를 전이학습 transfer learning 이라고 합니다.) -> downstream task (NER,QA,text-classification)

 

downstream task를 학습하는 방식

- 파인튜닝 fine-tuning, 프롬프트 튜닝, 인 컨텍스트 러닝 In-context learning

 

파인튜닝 

BERT를 공부했다면 파인튜닝에 좀 익숙할 겁니다. 예를 들어 BERT를 통해 영화 리뷰의 감정을 분류하는 예제들을 실행했을 때 downstream task 는 텍스트 분류이고, 이를 시행하기 위해 리뷰와 긍부정레이블이 합쳐진 데이터셋을 BERT에 또 학습시켜 새로운 리뷰가 들어왔을 때 긍정인지 부정인지 판단하도록 합니다. 즉, 파인튜닝은 downstream task의 데이터 전체를 사용해 모델 전체를 학습시키고 업데이트하는 방식으로 downstream task를 수행하는 것입니다. 

 

 인 컨텍스트 러닝 In-context learning

오늘 중점적으로 볼 것은 이것입니다. 인 컨텍스트 러닝이란 downstream task의 데이터 중 일부만 사용하고, 모델을 업데이트하지 않고 downstream task를 수행합니다. 

 

 인 컨텍스트 러닝 In-context learning 의 3가지 방식

인 컨텍스트 러닝에는 제로샷, 원샷 퓨샷 러닝 이 3가지 방식이 있습니다. 제로 원 퓨는 downstream task의 데이터 중 참고하는 건수를 뜻합니다. 모델에 질문을 해서 답을 얻고 싶을때 downstream task의 데이터를 아무것도 안보여주고 냅다 질문을 던지면 제로샷 러닝, 한가지 예시를 보여주고 질문하면 원샷러닝, 몇개 보여주고 질문을 하면 퓨샷러닝이 되는 것이죠

BERT와 다르게 GPT 3는 파라미터가 너무 많아 파인튜닝하기 어렵습니다. 따라서 이러한 방식을 채택합니다. 

GPT 의 입력은 BERT와는 조금 다릅니다. 기본적으로 task description과 prompt가 들어가고  example은 아예 안넣으면 제로샷러닝, example이 한개면 원샷, 여러개면 퓨샷 러닝인 것이죠

 

GPT 의 입력의 예시를 들어보겠습니다. 영어단어를 입력하면 한국어 단어 번역하고 싶을 때, 입력을 이런식으로 줍니다. 

 

Translate English to Korean: (task description에 해당)

cheese => (prompt에 해당 )

 

이렇게 해서 딱 아웃풋이 '치즈'로 나온다면 제로샷 러닝입니다. 

 

 

원샷 퓨샷 러닝은 몇까지 예를 주는 것입니다. 

 

Translate English to Korean: (task description)

peppermint =>페퍼민트 (example)

parsely =>파슬리 (example)

cheese => (prompt )

 

example이 한개면 원샷, 여러개면 퓨 샷입니다. 

 

이렇게만 해서 성능이 어떻게 되는지는 다음 그래프를 토앻 확인할 수 있습니다. 

성능을 측정한 결과 퓨 샷이 50% 이상의 성능을 보인다는 것으로 보아 몇가지 예를 주는 것만으로도 아웃풋을 낼수 있다는 것을 GPT가 알려준 것이죠

GPT3는 Open AI에서 API 신청을 하면 사용해 볼 수는 있는 것 같습니다. 

 

 

인 컨텍스트 러닝 구현

 

gpt-2에서 한번 코드를 통해 체험해보도록 합시다. huggingface 에서 transformers 로 불러올 수 있습니다. 

pip install transformers

 

 

필요한 토크나이저와 모델을 불러옵시다. 

from transformers import GPT2LMHeadModel, GPT2TokenizerFast

tokenizer = GPT2TokenizerFast.from_pretrained('gpt2-medium')

model = GPT2LMHeadModel.from_pretrained('gpt2-medium')

 

 

BERT에서 했던 것과 같게 리뷰를 넣으면 그것이 긍정인지 부정인지를 리턴하는 태스크를 수행하도록 해보겠습니다. 

 

review = input("Write down review")

prompt=f"""\

Classify the given review into positive or negative.

I don't like this movie. This review is negative

{review.strip()}.This review is\

"""

encodings=tokenizer(prompt,return_tensors='pt')

encodings={key:value.cuda() for key,value in encodings.items()}

outputs = model.generate(max_length=40, **encodings)

outputs=outputs[0, encodings['input_ids'].shape[1]:]

outputs = tokenizer.decode(outputs).strip().split('\n',1)[0]

print(outputs)

 

실행 결과 I love the actor 를 입력했더니

Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.

positive

라고 뜹니다. 앞에 세팅 ~~하는 말은 지금은 무시해도 되고, positive라고 잘 나온 것을 볼 수 있습니다. 

 

 

프롬포트 부분만 따로 떼어서 보겠습니다. 

 

prompt=f"""\

Classify the given review into positive or negative.

I don't like this movie. This review is negative

{review.strip()}.This review is\

"""

Classify the given review into positive or negative. 가 태스트 설명 부분이고 

 

I don't like this movie. This review is negative 예시를 주었습니다. 한개이니 여기서는 원샷이군요

 

 

 

예시를 이것보다 더 많이 쓰면 퓨샷이 되고, 하나도 안쓰면 제로샷이 됩니다. 

 

 그래프에서 봤듯이 예시를 더 많이 써주면(퓨샷) 틀린 예측을 할 확률이 줄어들 겁니다. 

 

 

흥미로운 것은,  prompt를 어떻게 쓰느냐에 따라 성능이 다를 수 있고,  이에 대한 연구도 활발히 진행중이라고 합니다. 

 

 

이와 관련해서 이러한 논문들을 찾았고

 

Large Language Models are Zero-Shot Reasoners

https://arxiv.org/abs/2205.11916

 

The Power of Scale for Parameter-Efficient Prompt Tuning

https://arxiv.org/pdf/2104.08691.pdf

 

요 두 논문에 대해서 읽고 정리해보도록 하겠습니다. ૮ • ﻌ -ა ♥