수학/기본개념1 정보이론 정보량 - 확률이 낮은 사건일수록 더욱 놀랍고 정보량이 크다. - 확률이 0 ~ 1이므로 해당 부분만 확인하면 된다. - 확률이 0에 가까울수록 무한대의 가까운 값을 가지게 된다. - 확률이 1인 경우에는 0의 값을 가지게 되고, 얻을 수 있는 정보량은 없는 것을 의미한다. 엔트로피(Entropy) - 랜덤 변수 x가 가질 수 있는 사건들에 대한 정보량의 평균, 불확실성 - 엔트로피의 최대는 균등분포일때이며, 의 값을 가진다. (n가지의 사건일 경우) - 엔트로피의 최소는 한 사건만 100%로 일어나며 나머지는 0%로 일어나면, 0의 값을 가진다. KL-divergence(Kullback-Leibler) - 두 확률분포의 차이를 계산하기 위해 사용하는 함수 예제) - KL(P1, P2) < KL(P1, .. 2022. 2. 8. 이전 1 다음
