情報理論事始め
さて、機械学習などにも必要な情報理論もやっていかなければならないかと思います。
とりあえず、当面は下記の本を読むことを目的としております。
情報理論 -基礎と広がり- | Thomas M.Cover, Joy A.Thomas, 山本 博資, 古賀 弘樹, 有村 光晴, 岩本 貢 |本 | 通販 | Amazon
さてこの本、500ページほどあるわけで例は結構ありますが演習に答えはなく。
よってなんとしても演習がしたい!という部分がありまして。
いくつか集めてきたものが下記の資料たち。
東京農工大 堀田先生
http://web.tuat.ac.jp/~s-hotta/info/
北海道大学 井上先生
どちらも、ちょいちょい答えつきの演習問題が用意されています。
これと、kindle版の甘利情報理論を駆使して推し進めてゆきます。
当面の内容として、
・情報量やエントロピーの定義
・上記の定義に対する定理
・そのための補題たち(凸関数、イェンセンの不等式、対数和不等式etc)
・典型行列
・マルコフ情報源などの情報源
・データ圧縮
・通信路容量
をやること、つまり最初の本の1~5,7章の完成を急いでいく、ということに
なると思います。
とりあえず一歩一歩。