DataMining/Deeplearning12 DL - 기초; 신경망소개/CNN/RNN 신경망은 입력노드와 출력노드의 연결망 (논리회로) 연결망에 가중치를 추가시킴. 가중치덕분에 입력노드와 출력노드만으로 더 다양한 관계를 표현할 수 있음. 신경망의 다른 이름은 퍼셉트론. 입력노드층과 출력 노드층을 여러겹 쌓으면 좀 더 복잡한 관계를 표현할 수 있음. 이를 다층 퍼셉트론MLP 또는 Fully connected/Dense/Affine layer 라고 한다. 다층 퍼셉트론에서 모든 출력 노드는 모든 입력노드와 연결되어 있다. 단, 입력노드는 1차원만 받는다. 입력노드값이 서로 독립적인 관계이면 MLP를 써도 문제없다. 그러나 이미지 데이터와 소리 데이터처럼 현실 데이터는 서로 독립적이지 않다. 사진이 조금 잘려나가도 주변 사진을 통해 그려낼 수 있다. 0.1초전 음파는 현재 음파에 영향을 준다... 2021. 2. 27. DL - 기초; 활성함수 목차 오차역전파 경사하강 활성함수 최적화 함수 초기 가중치 설정함수 배치 정규화 신경망을 연결할 때, 단순히 노드만 연결하면 학습이 될까? 되기는 하다. 그러나 가중치를 선형결합한 은닉층 하나만 있는 거랑 다를 게 없다. 여러개 은닉층을 사용해서 복잡한 관계를 "학습"하려면 비선형결합이 가능하도록 해야 한다. 그 역할을 하는게 활성함수다. 활성함수의 종류 가중치의 선형결합을 변환시켜주는 비선형함수를 찾자! 1. 시그모이드 함수 2. 하이퍼볼릭 탄젠트 함수 3. ReLU 함수 (Rectified Linear Unit) : f(x) = max(0,x) 4. Leaky ReLU 함수 : f(x) = max(ax, x) ; a = 0.01 *PReLU는 대규모 이미지셋에서만 유용, 소규모셋에서 오버피팅됨 5. .. 2021. 2. 27. DL - 기초; 경사하강 & 최적함수 목차 오차역전파경사하강 활성함수최적화 함수초기 가중치 설정함수배치 정규화이전 장에서 입력노드가 출력노드에 미치는 영향력/weight를 기울기라고 표현했다.경사하강법을 다르게 표현하면, 기울기 감소법이라고 할 수 있겠다.이게 뭔 소리람? 기울기를 기울기 감소시켜? 지금부터입력노드의 영향력을 가리키는 기울기를 weight라 표현하고,경사하강법에서 가리키는 기울기를 gradient라 표현하겠다. 통계학자들이나 컴공학자들이나 Solution을 찾는 문제를Convex function형태로 만들려고 한다. 왜?"우리가 이미 알고 있는 함수의 성질을 사용하면 Solution을 찾는 방법을 빠르게 찾을 수 있으니까""알고 있다는 이유 이외에도 Convex function의 Solution을 찾는 수치적/컴퓨팅적 방법이.. 2021. 2. 27. DL - 기초 ; 오차역전파 목차 오차역전파 경사하강 활성함수 최적화 함수 초기 가중치 설정함수 배치 정규화 신경망의 기본개념 1.신경망 : 퍼셉트론으로 이루어진 모델 ; 입력값에 대한 가중치와 활성함수로 출력값이 나오는 구조. 2.학습 : 데이터로부터 가중치 매개변수의 최적값을 자동으로 찾는것/손실함수의 값이 최소로 되도록 가중치와 편향인 매개변수를 조정하는 과정 3.손실함수(Loss/Cost function) : 정답 확률분포와 예측 확률분포의 차이(오류)에 대한 값 - 대표적인 손실함수 : 크로스 엔트로피(classification), 평균제곱오차(regression) 4.평균손실함수/미니배치학습 : 미니배치 크기만큼의 데이터에 대한 손실함수값을 구해 평균한 값. - 손실함수의 근사치 5.경사 하강법(Gradient desce.. 2021. 2. 27. 이전 1 2 3 다음
