ある情報源は，A, B, Cの3文字で通報を発生している単純マルコフ過程であり，文字A, B, Cが初めて出現する確率はそれぞれ，2/9, 7/18, 7/18である．また，文字列$（i, j）$が発生する遷移確率$P(i, j)$は次のとおりである．このとき，以下の問いにそれぞれ答えなさい． \begin{equation} P(A, A)=0, P(A,B)=\frac{2}{3}, P(A, C)=\frac{1}{3} \end{equation} \begin{equation} P(B, A)=\frac{1}{3}, P(B,B)=\frac{1}{3}, P(B, C)=\frac{1}{3} \end{equation} \begin{equation} P(C, A)=\frac{4}{9}, P(C,B)=0, P(C, C)=\frac{5}{9} \end{equation} （１）この確率過程をシャノン線図で表しなさい． （２）ある通報が文字AB, BBで始まる確率$P_{AB}, P_{BB}$を求めなさい． （３）この確率過程が定常状態になったときの，各文字A, B, Cの出現確率（定常確率）を求めなさい．

271語からなる言語系がある．そのうちの15語が1/16，残りは1/4096の頻度で使用されているという．また，すべての単語の長さは等しいものとする．この言語のエントロピー，冗長度を求めなさい． また，この言語での長さ1000単語の文章は，うまく符号化すると，どれだけ短い文章で（何単語）で表現できるか答えなさい．