情報理論 2013-4: 平均符号長の限界と情報源符号化定理

前回まで,コンパクト符号を構成する方法としてハフマン符号化を学んだ.さらに,ハフマン符号化で得られた符号が実際にコンパクト符号になっていること,つまり,各情報源記号に一つずつ符号語を割り当てる一意復号可能な符号のなかで平均符号長が最小になっていることを確かめた.では,コンパクト符号の平均符号長に関して定量的にどのようなことが言えるか?今回は,コンパクト符号の平均符号長の下限が情報源のエントロピーで規定されることを確認する.

  1. 情報源の1次エントロピー
  2. 情報源の1次エントロピーと平均符号長
  3. 拡大情報源とブロック符号化
  4. 情報源符号化定理

練習問題

  • 4-1 (5月21日01:45改訂)