情報理論2013-7: 相互情報量と通信路モデル

正確なメッセージを送ることができなくても,情報を伝えることができる.例えば,友人が左に行ったか,右に行ったかわからなくても,前から来た人に(必ずしも友人ではないかもしれない)人を見かけたかどうか教えてもらうことができれば,助けになる.この章では,この直観を形式化した相互情報量概念を導入し,相互情報量を定式化するとき用いた条件付き確率を用いて,通信路をモデル化する.
1. 相互情報量
2. 相互情報量の性質
3. 通信路のモデル化
4. 基本的な通信路