DataMining/Deeplearning12 DL - 기초; RNN ; LSTM, GRU - LSTM 등장 - 심플한 버전 등장 ; GRU. - 출처 excelsior-cjh.tistory.com/185 2021. 3. 3. DL-기초; 어텐션 Attention 어텐션: 입력값 간의 관계를 찾기위해 등장. 1. 인코더에서 만들어진 은닉노드의 출력값 가져오기 --> 인코더의 입력노드별 은닉노드의 출력값 2. 디코더에서 만들어진 은닉노드의 출력값 곱하기 --> 디코더의 은닉노드는 1개씩만 가져올 수 있음 (순차대로 데이터 입력하니까 당연...) --> 곱하기 --> 인코더의 은닉노드별(= 입력노드별) 가중치 생성 --> 가중치를 확률로 변환 3. 인코더의 은닉노드*확률의 합 구하기 --> 맥락벡터 완성(context vector; attention value) --> 현재 디코더 입력값과 가장 연관성있는 인코더 정보를 담고 있다. 4. 주어진 정보 concat하기 -->디코더의 현시점 은닉정보St와 맥락정보(어텐션 밸류At)를 concat하기 --> MLP의 입력값.. 2021. 3. 3. DL - 기초; 배치 정규화 목차 오차역전파 경사하강 활성함수 최적화 함수 초기 가중치 설정함수 배치 정규화 머신러닝 모델링할때, 데이터 표준화하는 거랑 똑같다. 회귀예측할 때도 특정 변수의 단위가 지나치게 크면 예측력에 영향을 많이 준다. 신경망에서도 특정 변수/학습노드의 데이터 단위가 달라지면 모델의 예측력이 낮아진다. 또한 신경망은 데이터를 여러번 짤라내서 학습을 하기 때문에 "샘플데이터의 확률분포"에 매번 달라진다. 따라서 샘플데이터에 의한 변동성을 최소화시키면서 학습시키면 더 빠르고 정확한 모델을 만들 수 있다. 배치정규화의 장점 학습 속도가 개선된다 (학습률을 높게 설정할 수 있기 때문) 가중치 초깃값 선택의 의존성이 적어진다 (학습할 때마다 출력값을 정규화하기 때문) 과적합(overfitting) 위험을 줄일 수 있다 .. 2021. 2. 27. DL - 기초; 초기화 목차 오차역전파 경사하강 활성함수 최적화 함수 초기 가중치 설정함수 배치 정규화 신경망 구조를 만들어서 학습이 가능하다는 사실을 알았다. 학습이란 결국 "최적의 가중치"를 찾는 과정이고, 학습시, 데이터의 비선형적인 관계를 찾아내기 위해 활성함수을 사용하고, 학습을 가능하게 하는 수학적 원리가 "오차역전파 / 연쇄미분"이라는 것도 알았다. 그리고 수치미분을 통해 최적값을 도달하게는 하는 방법이 "경사하강법"이라는 것도 알았다. 자 그래서 이제 학습을 해보자...! But 프로그래밍할 때, 변수할당하고 초기값 할당한다. 보통 0이나 None을 준다. 결국 신경망학습도 프로그래밍을 통해 해야 하므로 초기값 할당을 해야함. 그런데 이게 초기값을 어떻게 설정하느냐에 따라 학습결과(정확도/예측력 등)이 달라진다... 2021. 2. 27. 이전 1 2 3 다음
