Pytanie 31
B14. Rozważmy miary ilości informacji doświadczeń losowych. Które z poniższych stwierdzeń są prawdziwe
Aby zmierzyć ilość informacji, należy zmierzyć nieokreśloność doświadczenia losowego (źródła informacji)
Stopień nieokreśloności jest tym większy, im większa jest liczna wyników rozważanego doświadczenia losowego.
Hartley zaproponował aby miare nieokreśloności, czyli entropię H(X) doświadczenia losowego X o wynikach x1, x2, …, xn, które pojawiają się z prawdopodobieństwami P(x1), P(x2), …, P(xn) wiliczać ze zworu: H(X)= E P(xi)*log2*(1/P(xi)
Shannon zaproponował aby używać logarytmu (najlpeiej dwójkowego) liczby wyników doświadczenia losowego jako miary jego nieokreśloności