문돌이 존버/데이터 분석
2021. 11. 17.
버트(BERT) 개념 간단히 이해하기
본 글은 "딥 러닝을 이용한 자연어 처리 입문"을 학습하며 작성한 것입니다. 중간중간 제가 이해한 내용을 좀 더 풀어서 썼습니다. 문제가 된다면 비공개 처리하겠습니다. 버트(BERT) 개념 BERT(Bidirectional Encoder Representations from Transformers)는 2018년 구글이 공개한 사전 훈련된(pre-trained) 모델입니다. 트랜스포머를 이용해 구현되었으며 위키피디아(25억 단어)와 BooksCorpus(8억 단어)와 같은 레이블(label)이 없는 텍스트 데이터로 훈련되었습니다. 일반적으로 BERT를 통해 레이블이 있는 다른 작업(task)에서 추가 훈련과 함께 하이퍼파라미터를 재조정하면 성능이 높게 나옵니다. 다른 작업에 대해 파라미터 재조정을 위한 추..
