딥러닝9 딥러닝- 얼굴 인식 분야 summary 2013,2018,2020 자료 읽어보았다. 2022. 10. 16. DL-기초; 어텐션 Attention 어텐션: 입력값 간의 관계를 찾기위해 등장. 1. 인코더에서 만들어진 은닉노드의 출력값 가져오기 --> 인코더의 입력노드별 은닉노드의 출력값 2. 디코더에서 만들어진 은닉노드의 출력값 곱하기 --> 디코더의 은닉노드는 1개씩만 가져올 수 있음 (순차대로 데이터 입력하니까 당연...) --> 곱하기 --> 인코더의 은닉노드별(= 입력노드별) 가중치 생성 --> 가중치를 확률로 변환 3. 인코더의 은닉노드*확률의 합 구하기 --> 맥락벡터 완성(context vector; attention value) --> 현재 디코더 입력값과 가장 연관성있는 인코더 정보를 담고 있다. 4. 주어진 정보 concat하기 -->디코더의 현시점 은닉정보St와 맥락정보(어텐션 밸류At)를 concat하기 --> MLP의 입력값.. 2021. 3. 3. DL - 기초; 신경망소개/CNN/RNN 신경망은 입력노드와 출력노드의 연결망 (논리회로) 연결망에 가중치를 추가시킴. 가중치덕분에 입력노드와 출력노드만으로 더 다양한 관계를 표현할 수 있음. 신경망의 다른 이름은 퍼셉트론. 입력노드층과 출력 노드층을 여러겹 쌓으면 좀 더 복잡한 관계를 표현할 수 있음. 이를 다층 퍼셉트론MLP 또는 Fully connected/Dense/Affine layer 라고 한다. 다층 퍼셉트론에서 모든 출력 노드는 모든 입력노드와 연결되어 있다. 단, 입력노드는 1차원만 받는다. 입력노드값이 서로 독립적인 관계이면 MLP를 써도 문제없다. 그러나 이미지 데이터와 소리 데이터처럼 현실 데이터는 서로 독립적이지 않다. 사진이 조금 잘려나가도 주변 사진을 통해 그려낼 수 있다. 0.1초전 음파는 현재 음파에 영향을 준다... 2021. 2. 27. 내멋대로 이해하는 정보이론 - 엔트로피/크로스 엔트로피/로그로스 목차- 불확실성을 측정할 수 있을까?- 불확실성을 측정하는 방법- 엔트로피란?- 크로스 엔트로피란?- 로그로스란?* 다음시간에 KL Divergence적국이 암호를 송수신한다. 이를 중간에서 해독하고자 한다. 어떻게 해야할까?이 상황에서 정보는 암호이다. 몇 번의 시도끝에 암호를 해독했다. 어떤 암호가 "여러운 암호일까?"해독하는데 가장 많은 시간이 걸리는 것, 최대한 많은 시도를 해야만 하는 것이다.그렇다면, 암호를 만드는 사람입장에서는 난해하게, 불확실하게 만들어야 함.정보에 대한 불확실성을 어떻게 측정할까?정보는 기호(숫자,문자열 등)을 통해 보내진다.정보(암호/기호)는 질문에 의해 알아낼 수 있다. 모르기 때문에 질문한다는 점에서 질문은 불확실성을 의미한다. 즉, 질문횟수로 불확실성을 측정하자.불.. 2021. 2. 27. 이전 1 2 3 다음
