DataMining20 DL - 기초; 경사하강 & 최적함수 목차 오차역전파경사하강 활성함수최적화 함수초기 가중치 설정함수배치 정규화이전 장에서 입력노드가 출력노드에 미치는 영향력/weight를 기울기라고 표현했다.경사하강법을 다르게 표현하면, 기울기 감소법이라고 할 수 있겠다.이게 뭔 소리람? 기울기를 기울기 감소시켜? 지금부터입력노드의 영향력을 가리키는 기울기를 weight라 표현하고,경사하강법에서 가리키는 기울기를 gradient라 표현하겠다. 통계학자들이나 컴공학자들이나 Solution을 찾는 문제를Convex function형태로 만들려고 한다. 왜?"우리가 이미 알고 있는 함수의 성질을 사용하면 Solution을 찾는 방법을 빠르게 찾을 수 있으니까""알고 있다는 이유 이외에도 Convex function의 Solution을 찾는 수치적/컴퓨팅적 방법이.. 2021. 2. 27. DL - 기초 ; 오차역전파 목차 오차역전파 경사하강 활성함수 최적화 함수 초기 가중치 설정함수 배치 정규화 신경망의 기본개념 1.신경망 : 퍼셉트론으로 이루어진 모델 ; 입력값에 대한 가중치와 활성함수로 출력값이 나오는 구조. 2.학습 : 데이터로부터 가중치 매개변수의 최적값을 자동으로 찾는것/손실함수의 값이 최소로 되도록 가중치와 편향인 매개변수를 조정하는 과정 3.손실함수(Loss/Cost function) : 정답 확률분포와 예측 확률분포의 차이(오류)에 대한 값 - 대표적인 손실함수 : 크로스 엔트로피(classification), 평균제곱오차(regression) 4.평균손실함수/미니배치학습 : 미니배치 크기만큼의 데이터에 대한 손실함수값을 구해 평균한 값. - 손실함수의 근사치 5.경사 하강법(Gradient desce.. 2021. 2. 27. LSH - 지역성 기반 해싱함수로 유사성 계산하기 용어 - LSH : 지역성 기반 해싱 / 가장 유사해 보이는 쌍들만을 검색하는 기법 - 슁글링 : 문서들을 문자단위의 집합으로 변화하는 기법 - 민해싱 : 대형 집합을 압축하는 기법 현실문제: 서로 다른 두 집합이 얼마나 유사해야 충분히 유사한 그룹이라고 말할 수 있나? - 유사도를 측정하는 방법이 정해져야 한다. - 유사하다고 판단하는 기준이 정해져야 한다. Step1. 원본 데이터는 집합형태가 아니다. 따라서 유사도를 계산하기 전에 가장 먼저 집합형태로 데이터를 가공해야 한다. --> white space( blank, tab, newline )을 어떻게 처리할 것인가? 2개 이상의 white space를 1개로 치환한다. --> stopwords(의미가 없는 전치사,접속사, 대명사)들은 어떻게 처리.. 2021. 2. 24. CNN - LeNet & GoogLeNet 2021. 1. 27. 이전 1 2 3 4 5 다음
