まず，奇数になる（1, 3, 5）\reff{確率}は$\frac{1}{2}$である． よって，このときの\reff{情報量}は，$\displaystyle{-\log_2\frac{1}{2}}=1\ \mathrm{[bit]}$となる．（$\rightarrow$ $\log$：\reff{対数関数}） 目の数が1となる確率は$\frac{1}{6}$である．よって，情報量は$-\log_2\displaystyle{\frac{1}{6}}\approx 2.58\ \mathrm{[bit]}$となる．

ある学生がアカウントを持っている確率は$\displaystyle{\frac{25}{40}}$，持っていない確率は$\displaystyle{\frac{15}{40}}$である．従って，ある学生がアカウントを持っているか否かを知ったときの平均情報量は以下のようになる． \par \par $\displaystyle{\frac{25}{40} \log_2 \frac{40}{25} +\frac{15}{40} \log_2 \frac{40}{15}} \approx 0.95\ \mathrm{[bit/person]}$ \par \par （$\rightarrow$ $\log$：\reff{対数関数}）

（１）まず，この問題における状態は図1のように表される． \par \par このとき，予報が晴れ（状態F）であったときに，実際の天候が晴れ（状態f）である\reff{条件付き確率}は以下のように求まる． \begin{equation}P_F(f)=\frac{0.8 \times 0.9}{0.8\times 0.9 + 0.2 \times 0.1}\simeq0.973\end{equation} 同様に，他の条件付き確率は，以下のようにそれぞれ求まる． \begin{equation}P_F(r)=\frac{0.2 \times 0.1}{0.2\times 0.1 + 0.8 \times 0.9}\simeq0.027\end{equation} \begin{equation}P_R(f)=\frac{0.8 \times 0.1}{0.8\times 0.1 + 0.2 \times 0.9}\simeq0.308\end{equation} \begin{equation}P_R(R)=\frac{0.2 \times 0.9}{0.2\times 0.9 + 0.8 \times 0.1}\simeq0.692\end{equation} 次に，相互情報量を$I(f; F), I(r;R), I(f; R), I(r; F)$とそれぞれ表す． \begin{eqnarray} \therefore I(f;F)&=&\log_2 \frac{1}{P(f)}-\log_2 \frac{1}{P_F(f)} \\ &=&\log_2 \frac{1}{0.8} - \log_2 \frac{1}{0.973} \\ &\simeq&0.282 \end{eqnarray} 同様にして， \begin{eqnarray} I(f;R)&=&\log_2 \frac{1}{P(f)}-\log_2 \frac{1}{P_R(f)} \\ &=&\log_2 \frac{1}{0.8} - \log_2 \frac{1}{0.308} \\ &\simeq&-1.378 \end{eqnarray} \begin{eqnarray} I(r;F)&=&\log_2 \frac{1}{P(r)}-\log_2 \frac{1}{P_F(r)} \\ &=&\log_2 \frac{1}{0.2} - \log_2 \frac{1}{0.027} \\ &\simeq&-2.889 \end{eqnarray} \begin{eqnarray} I(r;R)&=&\log_2 \frac{1}{P(f)}-\log_2 \frac{1}{P_R(r)} \\ &=&\log_2 \frac{1}{0.2} - \log_2 \frac{1}{0.692} \\ &\simeq&1.791 \end{eqnarray} よって，平均相互情報量$H$は次のように求められる． \begin{eqnarray} H&=&P(f,F)I(f;F)+P(f,R)I(f;R)+P(r,F)I(r,F)+P(r,R)I(r,R) \\ &=& 0.8 \times 0.9 \times 0.282 + 0.8 \times 0.1 \times (-1.378) \\ &&+ 0.2 \times 0.1 \times (-2.889) + 0.2 \times 0.9 \times 1.791 \\ &\approx& 0.357 \end{eqnarray} 従って，平均相互情報量は$H=0.36\ \mathrm{[bit]}$となる． \par \par （２）完璧な予報は，図2のように表される． \par \par 従って，完璧な予報の情報量$I$とすると，次のようになる． \[ I=0.8\log_2 \frac{1}{0.8}+0.2\log_2 \frac{1}{0.2}\simeq 0.722 \] よって，（１）の情報量は，完璧な予報の情報量と比較して \[ \frac{0.357}{0.722}\simeq 0.494 \] となり，約49パーセントとなる． \par \par （３）Aさんの状態は，図3のようになる． \par \par 的中率だけを考えれば，20パーセントといえる．\par 相互情報量は， \begin{eqnarray} I(r;R)&=&\log_2 \frac{1}{P(r)}-\log_2 \frac{1}{P_R(r)} \\ &=&\log_2 \frac{1}{0.2} - \log_2 \frac{1}{0.2}=0 \\ \end{eqnarray} \begin{eqnarray} I(f;R)&=&\log_2 \frac{1}{P(f)}-\log_2 \frac{1}{P_R(f)} \\ &=&\log_2 \frac{1}{0.9} - \log_2 \frac{1}{0.8}=0 \\ \end{eqnarray} となり，また，$I(f; F), I(r; F)$はない．つまり，Aさんが与える相互情報量はゼロである． %=image:/media/2015/02/17/142416362052792600.jpg:図1 %=image:/media/2015/02/17/142416362052911300.jpg:図2 %=image:/media/2015/02/17/142416362053004800.jpg:図3

\[ -\overline{I(x;y)}=\sum_j \sum_i P(x_i, y_j) \log_2 \frac{P(x_i)P(y_j)}{P(x_i, y_j)} \] において，$W=\frac{P(x_i)P(y_j)}{P(x_i, y_j)}$とおくと， \[ -\overline{I(x;y)}=\sum_j \sum_i P(x_i, y_j) \log_2 W \] $\log_2 W \leq \log_2 e\cdot (W-1)$なので， \begin{eqnarray} \sum_j \sum_i P(x_i, y_j) \log_2 W &\leq& \sum_j \sum_i P(x_i, y_j) \log_2\cdot(W-1) \\ &&=\sum_j \sum_i P(x_i, y_j) \log_2 e \cdot \frac{P(x_i)P(y_j)}{P(x_i, y_j)} \\ &&\ \ \ \ \ \ \ \ -\sum_j \sum_i P(x_i, y_j) \log_2 e \\ &&=\sum_j \sum_i\log_2e\cdot P(x_i)P(y_j)-\sum_j \sum_i P(x_i, y_j) \log_2 e \\ &&=\log_2 e \sum_j \sum_i \left( P(x_i)P(y_j)- P(x_i, y_j)\right) \\ &&=\log_2\cdot 0 \\ &&=0 \ \ \ \because \sum_iP(x_i)=\sum_jP(y_j)=\sum_j \sum_i P(x_i)P(y_j)=1 \end{eqnarray} よって，$-\overline{I(x;y)} \leq 0$つまり， \[ \overline{I(x;y)} \geq 0 \] となり，平均相互情報量は負にならない．