Statistics/Information Theory2 내멋대로 이해하는 정보이론 - KL 다이버전스 지난이야기 내 정보가 얼마나 신뢰할 만한가? 얼마나 불확실한가? 측정가능한 불확실성을 엔트로피라고 정의하며, 전체 발생가능한 사건의 결과 중 정보를 맞추기 위한 최소질문횟수로 계산함. 사전정보기반 발생가능한 결과에 사전확률을 사용해서 구한 기대값과 같음. 내 정보의 절대적인 불확실성을 측정했다. 다른 정보를 비교해서 내 정보의 상대적인 불확실성을 측정하고 싶다면 어떻게 할까? 실제 데이터(다른정보)와 사전정보(내정보)로 측정한 "불확실성"을 크로스 엔트로피라고 정의한다. 실제 데이터로 발생가능한 결과에 사전확률을 사용해서 구한 기대값으로 구함. 사전정보와 실제 데이터 간에 불확실성의 차이가 얼마나 날까? 크로스 엔트로피와 엔트로피를 사용하면 구할 수 있다. --> KL-DIVERGENCE다. 쿨백-라이블.. 2021. 2. 27. 내멋대로 이해하는 정보이론 - 엔트로피/크로스 엔트로피/로그로스 목차- 불확실성을 측정할 수 있을까?- 불확실성을 측정하는 방법- 엔트로피란?- 크로스 엔트로피란?- 로그로스란?* 다음시간에 KL Divergence적국이 암호를 송수신한다. 이를 중간에서 해독하고자 한다. 어떻게 해야할까?이 상황에서 정보는 암호이다. 몇 번의 시도끝에 암호를 해독했다. 어떤 암호가 "여러운 암호일까?"해독하는데 가장 많은 시간이 걸리는 것, 최대한 많은 시도를 해야만 하는 것이다.그렇다면, 암호를 만드는 사람입장에서는 난해하게, 불확실하게 만들어야 함.정보에 대한 불확실성을 어떻게 측정할까?정보는 기호(숫자,문자열 등)을 통해 보내진다.정보(암호/기호)는 질문에 의해 알아낼 수 있다. 모르기 때문에 질문한다는 점에서 질문은 불확실성을 의미한다. 즉, 질문횟수로 불확실성을 측정하자.불.. 2021. 2. 27. 이전 1 다음
