はじめに
『パターン認識と機械学習』の独学時のまとめです。「数式の行間埋め」と「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を目指します。アルゴリズムの説明自体は省略するので、本とあわせて読んでください。
この記事は、各節の解説記事へのリンクページです。記事は少しずつ増えると思います。
【目次】
記事一覧
第2章 確率分布
確率分布関連についてはこちらでいくつか扱いました。
www.anarchive-beta.com
ベイズ推論関連はこちらでいくつか扱いました。
www.anarchive-beta.com
ガウス分布を操作します。
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
第3章 線形回帰モデル
線形基底関数モデルで利用する基底関数を確認します。
www.anarchive-beta.com
www.anarchive-beta.com
基本となる線形基底関数モデルです。
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
正則化で利用するLpノルムを確認します。
www.anarchive-beta.com
www.anarchive-beta.com
L2ノルムを利用した正則化最小二乗法です。
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
L1ノルムを利用した正則化最小二乗法です。
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
第4章 線形識別モデル
www.anarchive-beta.com
ニュートン-ラフソン法によるロジスティック回帰です。
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
多クラスロジスティック回帰です。
www.anarchive-beta.com
www.anarchive-beta.com
ベイズロジスティック回帰に利用する近似手法です。
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
ベイズロジスティック回帰です。
www.anarchive-beta.com
www.anarchive-beta.com
第9章 混合モデルとEM
混合ガウス分布の最尤推定です。
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
www.anarchive-beta.com
混合ベルヌーイ分布の最尤推定です。
www.anarchive-beta.com
www.anarchive-beta.com
第10章 近似推論法
www.anarchive-beta.com
下2つ実装ミスってるっぽいので参考程度に、、、後で(いつか)やり直します。
www.anarchive-beta.com
www.anarchive-beta.com
付録
www.anarchive-beta.com
参考文献
- C.M.ビショップ著,元田 浩・他訳『パターン認識と機械学習 上』,丸善出版,2012年.
- C.M.ビショップ著,元田 浩・他訳『パターン認識と機械学習 下』,丸善出版,2012年.
おわりに
須山ベイズ本の基本編を精読できてベイズ推論の雰囲気を掴めた気がするので、PRMLに2度目の挑戦をします。頭から読み進めるのではなく、面白そうで少し背伸びすれば解けそうなものを摘み食いしていきます。
ベイズ推論関連については、須山ベイズの攻略記事も参考にしてください。
www.anarchive-beta.com
こちらの方がより初学者を意識して細かく解説しています。
1つ目の記事を書いた次に5.6節の混合密度ネットワークをやってみたら詰まったので、しばらく別の本をやってました。そっちの本が終わったので、ぼちぼちこの本を進めるつもりです。
