情報理論2013-8: 通信路容量

通信路容量は,通信路の入力側と出力側がどれだけ結ばれているかを規定する量であり,入力変数と出力変数の間の相互情報量をもとにして定義される.入力変数と出力変数の間の相互情報量を実際に計算してみると,入力の確率分布(あるいは出力の確率分布)に依存する.通信路容量を通信路に固有な指標とするために,通信路容量は入力の確率分布をいろいろ変えた場合の相互情報量の最大値として定義される.
1. 通信路容量の定義
2. 記憶のない一様通信路の通信路容量
3. BSCの直列・並列されたBSCの通信路容量
4. 記憶のない2元定常通信路の通信路容量