情報理論 2013 第2回: 情報源符号化とその限界

今回は,情報源符号化とその限界について.情報源符号化の目的は,できるだけよい情報源符号化法,復号法を設計すること.ここでは, 「よい」情報源符号化法とは,情報源記号あたりの平均符号長を最小化することを意味する.つまり,平均的な効率だけを問題にしている.数理的な枠組みで議論するために,確率モデルを用いる. このような問題設定ではよくあることだが,情報源符号化の限界についても議論される.

  1. 情報源符号化
  2. 瞬時性の判定 (4月14日23:18改訂)
  3. 瞬時符号の構成可能性
  4. 一意復号可能な符号の構成可能性

練習問題