理解レベル
難易度: ★★
以下のように,平均相互情報量が負にならないことを証明しなさい.
\[ \overline{I(x;y)}\geq 0\]
ヒント:\par
以下の式を考える.
\begin{equation}
-\overline{I(x;y)}=\sum_j \sum_i P(x_i, y_j) \log_2 \frac{P(x_i)P(y_j)}{P(x_i, y_j)}
\end{equation}
また,次の恒等式が成り立つことを利用する.
\begin{equation}
\log_2 W \leq W-1 \\
\therefore \frac{\log_2 W}{\log_2 e} \leq W-1
\end{equation}
≫ 解答例・解説