例題集

相互情報量

理解レベル   難易度: ★★
東京都の年間を通しての天候は晴れが80パーセント,それ以外が20パーセントである.また,東京地方気象台の天気予報的中率は,晴れ,雨などに関わらず90パーセントである.一方,気象観測もせずに,毎日明日は晴れないと予想しているAさんがいる. (1)気象台の予報が実際の天候について伝える平均相互情報量はどれだけか. (2)この情報量は完璧な予報が伝える情報量の何パーセントとなるか. (3)Aさんの的中率と,Aさんが与える相互情報量はどれだけか.
(1)まず,この問題における状態は図1のように表される. \par \par このとき,予報が晴れ(状態F)であったときに,実際の天候が晴れ(状態f)である\reff{条件付き確率}は以下のように求まる. \begin{equation}P_F(f)=\frac{0.8 \times 0.9}{0.8\times 0.9 + 0.2 \times 0.1}\simeq0.973\end{equation} 同様に,他の条件付き確率は,以下のようにそれぞれ求まる. \begin{equation}P_F(r)=\frac{0.2 \times 0.1}{0.2\times 0.1 + 0.8 \times 0.9}\simeq0.027\end{equation} \begin{equation}P_R(f)=\frac{0.8 \times 0.1}{0.8\times 0.1 + 0.2 \times 0.9}\simeq0.308\end{equation} \begin{equation}P_R(R)=\frac{0.2 \times 0.9}{0.2\times 0.9 + 0.8 \times 0.1}\simeq0.692\end{equation} 次に,相互情報量を$I(f; F), I(r;R), I(f; R), I(r; F)$とそれぞれ表す. \begin{eqnarray} \therefore I(f;F)&=&\log_2 \frac{1}{P(f)}-\log_2 \frac{1}{P_F(f)} \\ &=&\log_2 \frac{1}{0.8} - \log_2 \frac{1}{0.973} \\ &\simeq&0.282 \end{eqnarray} 同様にして, \begin{eqnarray} I(f;R)&=&\log_2 \frac{1}{P(f)}-\log_2 \frac{1}{P_R(f)} \\ &=&\log_2 \frac{1}{0.8} - \log_2 \frac{1}{0.308} \\ &\simeq&-1.378 \end{eqnarray} \begin{eqnarray} I(r;F)&=&\log_2 \frac{1}{P(r)}-\log_2 \frac{1}{P_F(r)} \\ &=&\log_2 \frac{1}{0.2} - \log_2 \frac{1}{0.027} \\ &\simeq&-2.889 \end{eqnarray} \begin{eqnarray} I(r;R)&=&\log_2 \frac{1}{P(f)}-\log_2 \frac{1}{P_R(r)} \\ &=&\log_2 \frac{1}{0.2} - \log_2 \frac{1}{0.692} \\ &\simeq&1.791 \end{eqnarray} よって,平均相互情報量$H$は次のように求められる. \begin{eqnarray} H&=&P(f,F)I(f;F)+P(f,R)I(f;R)+P(r,F)I(r,F)+P(r,R)I(r,R) \\ &=& 0.8 \times 0.9 \times 0.282 + 0.8 \times 0.1 \times (-1.378) \\ &&+ 0.2 \times 0.1 \times (-2.889) + 0.2 \times 0.9 \times 1.791 \\ &\approx& 0.357 \end{eqnarray} 従って,平均相互情報量は$H=0.36\ \mathrm{[bit]}$となる. \par \par (2)完璧な予報は,図2のように表される. \par \par 従って,完璧な予報の情報量$I$とすると,次のようになる. \[ I=0.8\log_2 \frac{1}{0.8}+0.2\log_2 \frac{1}{0.2}\simeq 0.722 \] よって,(1)の情報量は,完璧な予報の情報量と比較して \[ \frac{0.357}{0.722}\simeq 0.494 \] となり,約49パーセントとなる. \par \par (3)Aさんの状態は,図3のようになる. \par \par 的中率だけを考えれば,20パーセントといえる.\par 相互情報量は, \begin{eqnarray} I(r;R)&=&\log_2 \frac{1}{P(r)}-\log_2 \frac{1}{P_R(r)} \\ &=&\log_2 \frac{1}{0.2} - \log_2 \frac{1}{0.2}=0 \\ \end{eqnarray} \begin{eqnarray} I(f;R)&=&\log_2 \frac{1}{P(f)}-\log_2 \frac{1}{P_R(f)} \\ &=&\log_2 \frac{1}{0.9} - \log_2 \frac{1}{0.8}=0 \\ \end{eqnarray} となり,また,$I(f; F), I(r; F)$はない.つまり,Aさんが与える相互情報量はゼロである. %=image:/media/2015/02/17/142416362052792600.jpg:図1 %=image:/media/2015/02/17/142416362052911300.jpg:図2 %=image:/media/2015/02/17/142416362053004800.jpg:図3