TIL

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 이전 글과 이어지는 내용입니다. - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBERT fine-tuning은 사전학습된 문장의 문맥 정보 등을 고려한 weight 값을 가지고, 사전훈련된 BERT의 파라미터를 그대로 가져와 문서분류, 개체명인식과 같은 과제에 적용 할 수 있도록 모델을 업데이트하는 과정입니다. fine-tuning은 pre-tr..

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 이전 글과 이어지는 내용입니다. - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBert BERT는 문맥을 반영한 임베딩(Conatextual Embedding)을 가능하게 해주는 범용 언어 표현 모델입니다. BERT는 크게 pre-training(사전 학습), fine-tuning(미세 조정) 두 단계로 나눌 수 있습니다. Pre-training..

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 자연어처리에서 가장 기본이 되고 중요한 논문 중 하나인 버트 논문입니다. 원문을 바탕으로 설명하였으며, 이해를 돕기 위한 몇 가지 한국어 예시를 리서치하여 넣었습니다! 아마 5부분으로 나누어 설명할 것 같습니다! - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBert BERT는 구글에서 개발한 NLP 사전 훈련 모델로, 특정 분야에 국한된 기술이..