DataMining20 DL - 기초; 배치 정규화 목차 오차역전파 경사하강 활성함수 최적화 함수 초기 가중치 설정함수 배치 정규화 머신러닝 모델링할때, 데이터 표준화하는 거랑 똑같다. 회귀예측할 때도 특정 변수의 단위가 지나치게 크면 예측력에 영향을 많이 준다. 신경망에서도 특정 변수/학습노드의 데이터 단위가 달라지면 모델의 예측력이 낮아진다. 또한 신경망은 데이터를 여러번 짤라내서 학습을 하기 때문에 "샘플데이터의 확률분포"에 매번 달라진다. 따라서 샘플데이터에 의한 변동성을 최소화시키면서 학습시키면 더 빠르고 정확한 모델을 만들 수 있다. 배치정규화의 장점 학습 속도가 개선된다 (학습률을 높게 설정할 수 있기 때문) 가중치 초깃값 선택의 의존성이 적어진다 (학습할 때마다 출력값을 정규화하기 때문) 과적합(overfitting) 위험을 줄일 수 있다 .. 2021. 2. 27. DL - 기초; 초기화 목차 오차역전파 경사하강 활성함수 최적화 함수 초기 가중치 설정함수 배치 정규화 신경망 구조를 만들어서 학습이 가능하다는 사실을 알았다. 학습이란 결국 "최적의 가중치"를 찾는 과정이고, 학습시, 데이터의 비선형적인 관계를 찾아내기 위해 활성함수을 사용하고, 학습을 가능하게 하는 수학적 원리가 "오차역전파 / 연쇄미분"이라는 것도 알았다. 그리고 수치미분을 통해 최적값을 도달하게는 하는 방법이 "경사하강법"이라는 것도 알았다. 자 그래서 이제 학습을 해보자...! But 프로그래밍할 때, 변수할당하고 초기값 할당한다. 보통 0이나 None을 준다. 결국 신경망학습도 프로그래밍을 통해 해야 하므로 초기값 할당을 해야함. 그런데 이게 초기값을 어떻게 설정하느냐에 따라 학습결과(정확도/예측력 등)이 달라진다... 2021. 2. 27. DL - 기초; 신경망소개/CNN/RNN 신경망은 입력노드와 출력노드의 연결망 (논리회로) 연결망에 가중치를 추가시킴. 가중치덕분에 입력노드와 출력노드만으로 더 다양한 관계를 표현할 수 있음. 신경망의 다른 이름은 퍼셉트론. 입력노드층과 출력 노드층을 여러겹 쌓으면 좀 더 복잡한 관계를 표현할 수 있음. 이를 다층 퍼셉트론MLP 또는 Fully connected/Dense/Affine layer 라고 한다. 다층 퍼셉트론에서 모든 출력 노드는 모든 입력노드와 연결되어 있다. 단, 입력노드는 1차원만 받는다. 입력노드값이 서로 독립적인 관계이면 MLP를 써도 문제없다. 그러나 이미지 데이터와 소리 데이터처럼 현실 데이터는 서로 독립적이지 않다. 사진이 조금 잘려나가도 주변 사진을 통해 그려낼 수 있다. 0.1초전 음파는 현재 음파에 영향을 준다... 2021. 2. 27. DL - 기초; 활성함수 목차 오차역전파 경사하강 활성함수 최적화 함수 초기 가중치 설정함수 배치 정규화 신경망을 연결할 때, 단순히 노드만 연결하면 학습이 될까? 되기는 하다. 그러나 가중치를 선형결합한 은닉층 하나만 있는 거랑 다를 게 없다. 여러개 은닉층을 사용해서 복잡한 관계를 "학습"하려면 비선형결합이 가능하도록 해야 한다. 그 역할을 하는게 활성함수다. 활성함수의 종류 가중치의 선형결합을 변환시켜주는 비선형함수를 찾자! 1. 시그모이드 함수 2. 하이퍼볼릭 탄젠트 함수 3. ReLU 함수 (Rectified Linear Unit) : f(x) = max(0,x) 4. Leaky ReLU 함수 : f(x) = max(ax, x) ; a = 0.01 *PReLU는 대규모 이미지셋에서만 유용, 소규모셋에서 오버피팅됨 5. .. 2021. 2. 27. 이전 1 2 3 4 5 다음
