문돌이 존버/데이터 분석
2021. 7. 2.
어텐션 메커니즘(Attention Mechanism) 간단히 이해하기
본 글은 "딥 러닝을 이용한 자연어 처리 입문"을 학습하며 작성한 것입니다. 중간중간 제가 이해한 내용을 좀 더 풀어서 썼습니다. 어텐션 메커니즘 RNN에 기반한 언어 모델은 크게 2가지 문제가 있습니다. 1. 하나의 고정된 크기 벡터에 모든 정보를 압축하려고 하니 정보 손실이 발생 2. RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제 존재 이로 인해 기계 번역 분야에서 입력 문장이 길어지면 번역 품질이 떨어지는 현상이 나타납니다. 이를 해결하기 위해 등장한 기법이 바로 어텐션(attention)입니다. 어텐션 기본 아이디어는 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 다시 한 번 참고하는 것입니다. 다만, 모두 동일한 ..
