例題集

情報量とエントロピー

  印刷

絞り込み

難易度

情報量

知識・記憶レベル   難易度:
すべての目が同じ確率で発生するサイコロを振るとき,出た目の数が奇数であることを知らされた場合と,目の数が1であると知らされた場合の\reff{情報量}をそれぞれ求めなさい.

平均情報量

知識・記憶レベル   難易度:
40名のクラスがある.性別の内訳は男子は30名,女子は10名である.このうち,Facebookのアカウントを持っている学生は男子は15名,女子は全員である.このとき,ある学生がアカウントを持っているか否かを知ったときの平均情報量を求めなさい.

相互情報量

理解レベル   難易度: ★★
東京都の年間を通しての天候は晴れが80パーセント,それ以外が20パーセントである.また,東京地方気象台の天気予報的中率は,晴れ,雨などに関わらず90パーセントである.一方,気象観測もせずに,毎日明日は晴れないと予想しているAさんがいる. (1)気象台の予報が実際の天候について伝える平均相互情報量はどれだけか. (2)この情報量は完璧な予報が伝える情報量の何パーセントとなるか. (3)Aさんの的中率と,Aさんが与える相互情報量はどれだけか.

相互情報量の性質

理解レベル   難易度: ★★
以下のように,平均相互情報量が負にならないことを証明しなさい. \[ \overline{I(x;y)}\geq 0\] ヒント:\par 以下の式を考える. \begin{equation} -\overline{I(x;y)}=\sum_j \sum_i P(x_i, y_j) \log_2 \frac{P(x_i)P(y_j)}{P(x_i, y_j)} \end{equation} また,次の恒等式が成り立つことを利用する. \begin{equation} \log_2 W \leq W-1 \\ \therefore \frac{\log_2 W}{\log_2 e} \leq W-1 \end{equation}