ぱらぱらめくる『情報理論』

情報理論 (ちくま学芸文庫)

• 情報理論を「古典」に戻ってかいつまんでみよう
• 第１章　情報の数量的認識
• 第２章　雑音のない通話路による情報伝送
• 第３章　雑音のある通話路での情報伝達
• 第４章　連続情報と信号空間
• 第５章　信号空間の写像と通信系の理論
• 第１章　情報の数量的認識
  • 第１節　情報量とエントロピー(と相互情報量)
    • 確率pの事象が実際に生起したことを知らせる情報に含まれている情報量をビットと定義する(情報量の加法性が成り立つ定義)、『珍しいことが起きたことを知ると「びっくり」する〜情報が多い』→こちらの決断理論でも情報量を指標に入れてみよう
    • これを基にエントロピーが定まる(起きる前に、起きうる事象の生起確率に応じて、『観察しようとすることの情報量』を定める)
    • 独立な情報と絡まりあった情報。対数の和は生起確率としては積。積が取れる〜独立〜エントロピーは和、それに合わないのは絡まりあったこと。相互情報量
  • 第２節　情報源
    • 事象が系列となって次から次へと出てくる場合、事象の生起確率は過去に依存してくる(こともある)。このような系列になった情報の集まりが情報源→再びこちらの決断理論で扱うべき話。
    • ネットワーク化。複雑なのでマルコフ連鎖扱い
    • 情報量の多寡と大数の法則
• 「通信」が情報学の中で盛んだったころの文章なので、「通信の話」
• 第２章　雑音のない通話路による情報伝送
  • 第１節　雑音のない離散通話路
  • 第２節　符号化による冗長度の除去
• 第３章　雑音のある通話路での情報伝達
  • 第１節　雑音のある離散通話路の容量
  • 第２節　誤り訂正符号
• 第４章　連続情報と信号空間
  • 第１節　連続信号のエントロピー
  • 第２節　信号空間の構成
  • 第３節　連続通話路
  • 第４節　信号空間の情報幾何学
    • 情報・距離・統計の相互関係→情報幾何へ
• 第５章　信号空間の写像と通信系の理論
  • ある意味のある情報→通信のための情報という形態→復元して意味。情報と写像。圧縮
  • 第１節　通信系の構造
  • 第２節　連続通信系の理論