문돌이 존버/데이터 분석
2021. 7. 5.
바다나우 어텐션(Bahdanau Attention) 간단히 이해하기
본 글은 "딥 러닝을 이용한 자연어 처리 입문"을 학습하며 작성한 것입니다. 중간중간 제가 이해한 내용을 좀 더 풀어서 썼습니다. 바다나우 어텐션 지난 번 닷-프로덕트 어텐션에 이어 이번 시간에는 바다나우 어텐션을 살펴보도록 하겠습니다. 아래 어텐션 함수는 대체적으로 동일하되 다른 점이 하나 있습니다. 바로 Query가 디코더 셀의 t 시점의 은닉 상태가 아닌 t-1 시점의 은닉 상태라는 것입니다. 어텐션 함수 Attention(Q, K, V) = Attention Value t = 어텐션 메커니즘이 수행되는 디코더 셀의 현재 시점을 의미. Q = Query : t-1 시점의 디코더 셀에서의 은닉 상태 K = Keys : 모든 시점의 인코더 셀의 은닉 상태들 V = Values : 모든 시점의 인코더 셀..
