Теория информации. Контрольные вопросы

Контрольный опрос по теме № 1

1. Доказать формулу полной вероятности
M
( ) = ? P( A | H_m)P(H_m)
P A
m=1
2. Доказать формулу апостериорной вероятности (формулу Байеса)
( )
P( A | H )P H (| ) =_M

P(H_jA?jj( ).

P(A | H )P H

m=1

m

m

3. Доказать, что для любых случайных величин x и y
[ + ] = M[ ]

[ ]

M

x y

+ M

.

4. Доказать, что если c – константа, x – случайная величина, то
[ ] cM[ ].
M=5. Доказать, что если x и y – независимые случайные величины, то
[ ] M[ ] [ ] .
M=6. Доказать, что для некоррелированных случайных величин x и y
D[x + y] [ ] [ ] D y.7. Доказать, что если c – константа, x – случайная величина, то
[ ] c²D[ ].
D =

8. Доказать, что если c – константа, x – случайная величина, то
D[c + x] [ ] x .

9. Доказать, что если x и y независимы то K (x, y) = 0 , то есть из независимости
случайных величин следует их некоррелированность

10. Доказать, что если x x,₂? X , p(x ) н p x
( )
, то I (x₁) З I (x₂)

1

2

11. Доказать, что для независимых сообщений x₁,…, x_nимеет место равенство
n
( ,…, x_n) = ? I (x_i).
I x₁
i=1

12. Доказать, что


H ( X ) н 0.

13. Доказать, что H ( X ) З log X.14. Доказать, что H ( X ) = log X в том и только в том случае, когда элементы ансамбля X
равновероятны.15. Если для двух ансамблей X и Y распределения вероятностей представляют собой
одинаковые наборы чисел (отличаются только порядком следования элементов), то
H ( X ) = H Y
( ).16. Если ансамбли X и Y независимы, то
H ( XY ) = H (X ) + H (Y ) .

17. Энтропия – выпуклая ¶ функция распределения вероятностей на элементах ансамбля
X .

18. Доказать, что H ( X | Y ) н 0.

19. Доказать, что
H ( X | )
Y З H X
( )
, причем равенство имеет место в том и только в том

случае, когда ансамбли X и Yнезависимы.20. Доказать, что H ( XY ) = H ( X ) + H (Y | X ) = H (Y ) + H

21. Доказать, что
H ( X …X ) = H ( X ) + H ( X |X ) + H ( X | X X