DL - 기초 ; 오차역전파

오차역전파

경사하강

활성함수

최적화 함수

초기 가중치 설정함수

배치 정규화

신경망의 기본개념

1.신경망 : 퍼셉트론으로 이루어진 모델 ; 입력값에 대한 가중치와 활성함수로 출력값이 나오는 구조.

2.학습 : 데이터로부터 가중치 매개변수의 최적값을 자동으로 찾는것/손실함수의 값이 최소로 되도록 가중치와 편향인 매개변수를 조정하는 과정

3.손실함수(Loss/Cost function) : 정답 확률분포와 예측 확률분포의 차이(오류)에 대한 값

- 대표적인 손실함수 : 크로스 엔트로피(classification), 평균제곱오차(regression)

4.평균손실함수/미니배치학습 : 미니배치 크기만큼의 데이터에 대한 손실함수값을 구해 평균한 값.

- 손실함수의 근사치

5.경사 하강법(Gradient descent) : 손실함수를 최소화하는 법

- 매개변수(가중치;편향)를 감소시키는 방향으로 조절하는 법

- 학습률(learning rate) : 업데이트를 반영하는 비율

오차역전파

신경망은 노드의 연결망이고, level/layer층을 기준으로 나뉘어 있다.

입력노드가 출력노드에 미치는 영향력weight을 기울기로 나타냄. 학습을 통해 기울기를 알아내려면 "출력값에 대해 직전 노드의 편미분을 구하면 됨"

다행인 것은 연쇄법칙에 의해 합성합수의 미분은 각 함수의 미분의 곱으로 표현할 수 있다. 따라서 출력값과 노드구성만 알면, 신경망의 모든 노드의 weight(기울기)을 알 수 있다.

이처럼 출력값에서 시작해서 입력노드까지 역으로 미분해서 기울기를 알아내는 방법을 역전파라함.

그렇다면 왜 오차역전파인가?

정확한 기울기를 찾아내려면 1) 출력값과 실제값 차이의 오차를 구하고 2) 이 오차가 어떤 노드에서 온 것인지 알아낸 다음, 3) 각 노드의 기울기를 오차만큼 조절하면 된다.

오차역전파는 오차에 대한 연쇄 편미분을 통해 각 노드의 오차를 측정하는 방법이다. 오차만큼 기울기를 조절하여 최종적으로 각 노드의 최적 기울기를 찾아내는데 도움이 된다.

bents