戻る

例題集 / 情報 / 情報理論 / 情報源

絞り込み

難易度

マルコフ情報源

知識・記憶レベル   難易度: ★★
ある情報源は,A, B, Cの3文字で通報を発生している単純マルコフ過程であり,文字A, B, Cが初めて出現する確率はそれぞれ,2/9, 7/18, 7/18である.また,文字列$(i, j)$が発生する遷移確率$P(i, j)$は次のとおりである.このとき,以下の問いにそれぞれ答えなさい. \begin{equation} P(A, A)=0, P(A,B)=\frac{2}{3}, P(A, C)=\frac{1}{3} \end{equation} \begin{equation} P(B, A)=\frac{1}{3}, P(B,B)=\frac{1}{3}, P(B, C)=\frac{1}{3} \end{equation} \begin{equation} P(C, A)=\frac{4}{9}, P(C,B)=0, P(C, C)=\frac{5}{9} \end{equation} (1)この確率過程をシャノン線図で表しなさい. (2)ある通報が文字AB, BBで始まる確率$P_{AB}, P_{BB}$を求めなさい. (3)この確率過程が定常状態になったときの,各文字A, B, Cの出現確率(定常確率)を求めなさい.

解答例・解説

(1)シャノン線図は図のようになる. %=image:/media/2014/08/22/140863365803785400.png:シャノン線図 (2)それぞれ,以下のようになる. \begin{equation} P_{AB}=\frac{2}{9}\times \frac{2}{3}=\frac{4}{27}, P_{BB}=\frac{7}{18}\times \frac{1}{3}=\frac{7}{54} \end{equation}

冗長度

知識・記憶レベル   難易度: ★★
271語からなる言語系がある.そのうちの15語が1/16,残りは1/4096の頻度で使用されているという.また,すべての単語の長さは等しいものとする.この言語のエントロピー,冗長度を求めなさい. また,この言語での長さ1000単語の文章は,うまく符号化すると,どれだけ短い文章で(何単語)で表現できるか答えなさい.

解答例・解説

まず,この言語のエントロピーを$H_{real}$と表すとすると,次のように求められる. \begin{eqnarray} H_{real}&=&15\times \frac{1}{16}\times \log_2 16+(271-15)\times \frac{1}{4096}\times \log_2 4096 \\ &=&\frac{9}{2}\\ &=&4.5 \ \mathrm{[bit/word]} \end{eqnarray} もし,すべてが同じ頻度で使用される場合のエントロピーを$H_{max}$とすると, \begin{equation} H_{max}=\log_2 271 \approx 8.082 \ \mathrm{[bit/word]} \end{equation} となる.従って,相対エントロピー$h$は次のようになり, \begin{equation} h=\frac{H_{real}}{H_{max}}=\frac{4.5}{8.082}\approx 0.557 \end{equation} 冗長度は次のように求められる. \begin{equation} 1-h \approx 0.443 \end{equation} また,1000単語の文章は,相対エントロピー$h$より, \[1000\times h = 1000 \times 0.557 = 557 \mathrm{[words]} \] つまり,557単語で表現できることになる.