문돌이 존버/데이터 분석
2021. 11. 11.
트랜스포머(Transformer) 간단히 이해하기 (1)
본 글은 "딥 러닝을 이용한 자연어 처리 입문"을 학습하며 작성한 것입니다. 중간중간 제가 이해한 내용을 좀 더 풀어서 썼습니다. 문제가 된다면 비공개 처리하겠습니다. 트랜스포머는 2017년 구글이 발표한 논문인 Attention is all you need에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도 어텐션으로만 구현만 모델입니다. 본 모델은 RNN을 사용하지 않고 인코더-디코더 구조를 설계했음에도 성능이 RNN보다 우수하다고 합니다. 기존의 seq2seq 모델의 한계 기존 seq2seq 모델은 인코더-디코더 구조로 구성되어 있습니다. 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하고, 디코더는 이 벡터 표현을 통해 출력 시퀀스를 만들어냈습니다. 하지만 인코더가 입력 시..
