Pytanie 31
B14. Rozważmy miary ilości informacji doświadczeń losowych. Które z poniższych stwierdzeń są prawdziwe
Hartley zaproponował aby miare nieokreśloności, czyli entropię H(X) doświadczenia losowego X o wynikach x1, x2, …, xn, które pojawiają się z prawdopodobieństwami P(x1), P(x2), …, P(xn) wiliczać ze zworu: H(X)= E P(xi)*log2*(1/P(xi)
Shannon zaproponował aby używać logarytmu (najlpeiej dwójkowego) liczby wyników doświadczenia losowego jako miary jego nieokreśloności
Stopień nieokreśloności jest tym większy, im większa jest liczna wyników rozważanego doświadczenia losowego.
Aby zmierzyć ilość informacji, należy zmierzyć nieokreśloność doświadczenia losowego (źródła informacji)