Machine Learning
[BERT] BERT(Bidirectional Encoder Representations from Transformers) 란?
BERT란? · BERT 정의 Pre-training of Deep Bidirectional Trnasformers for Language Understanding 구글에서 개발한 NLP 사전 훈련 모델입니다. 특정 분야에 국한된 기술이 아니라 모든 자연어 처리 분야에서 좋은 성능을 내는 범용 Language Model로 알려져 있습니다. · BERT 특징 BERT는 트랜스포머를 이용하여 구현되었으며, 위키피디아(25억 단어)와 BooksCorpus(8억 단어)와 같은 레이블이 없는 텍스트 데이터로 사전 훈련되었습니다. 레이블이 없는 많은 데이터로 사전 훈련된 모델을 가지고, 파인 튜닝을 했기 때문에 성능이 높습니다. 파인 튜닝(Fine-tuning) 이란, 다른 작업에 대해서 파라미터 재조정을 위한 추..
