크로스엔트로피1 내멋대로 이해하는 정보이론 - 엔트로피/크로스 엔트로피/로그로스 목차- 불확실성을 측정할 수 있을까?- 불확실성을 측정하는 방법- 엔트로피란?- 크로스 엔트로피란?- 로그로스란?* 다음시간에 KL Divergence적국이 암호를 송수신한다. 이를 중간에서 해독하고자 한다. 어떻게 해야할까?이 상황에서 정보는 암호이다. 몇 번의 시도끝에 암호를 해독했다. 어떤 암호가 "여러운 암호일까?"해독하는데 가장 많은 시간이 걸리는 것, 최대한 많은 시도를 해야만 하는 것이다.그렇다면, 암호를 만드는 사람입장에서는 난해하게, 불확실하게 만들어야 함.정보에 대한 불확실성을 어떻게 측정할까?정보는 기호(숫자,문자열 등)을 통해 보내진다.정보(암호/기호)는 질문에 의해 알아낼 수 있다. 모르기 때문에 질문한다는 점에서 질문은 불확실성을 의미한다. 즉, 질문횟수로 불확실성을 측정하자.불.. 2021. 2. 27. 이전 1 다음