TRANSFORMER1 DL-기초; 어텐션 Attention 어텐션: 입력값 간의 관계를 찾기위해 등장. 1. 인코더에서 만들어진 은닉노드의 출력값 가져오기 --> 인코더의 입력노드별 은닉노드의 출력값 2. 디코더에서 만들어진 은닉노드의 출력값 곱하기 --> 디코더의 은닉노드는 1개씩만 가져올 수 있음 (순차대로 데이터 입력하니까 당연...) --> 곱하기 --> 인코더의 은닉노드별(= 입력노드별) 가중치 생성 --> 가중치를 확률로 변환 3. 인코더의 은닉노드*확률의 합 구하기 --> 맥락벡터 완성(context vector; attention value) --> 현재 디코더 입력값과 가장 연관성있는 인코더 정보를 담고 있다. 4. 주어진 정보 concat하기 -->디코더의 현시점 은닉정보St와 맥락정보(어텐션 밸류At)를 concat하기 --> MLP의 입력값.. 2021. 3. 3. 이전 1 다음
