はじめに
『パターン認識と機械学習』の独学時のまとめです。「数式の行間埋め」と「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を目指します。アルゴリズムの説明自体は省略するので、本とあわせて読んでください。
この記事は、各節の解説記事へのリンクページです。記事は少しずつ増えると思います。
【目次】
記事一覧
第2章 確率分布
確率分布についての記事はこちらにまとめています。
確率分布関連についてはこちらでいくつか扱いました。随時上の一覧に移行予定ですが、まだいくつかこちらに残っています。
ベイズ推論関連はこちらでいくつか扱いました。
ガウス分布を操作します。
第3章 線形回帰モデル
線形基底関数モデルで利用する基底関数を確認します。
基本となる線形基底関数モデルです。
正則化で利用するLpノルムを確認します。
L2ノルムを利用した正則化最小二乗法です。
L1ノルムを利用した正則化最小二乗法です。
第4章 線形識別モデル
ニュートン-ラフソン法によるロジスティック回帰です。
多クラスロジスティック回帰です。
ベイズロジスティック回帰に利用する近似手法です。
ベイズロジスティック回帰です。
第9章 混合モデルとEM
混合ガウス分布の最尤推定です。
混合ベルヌーイ分布の最尤推定です。
第10章 近似推論法
下2つ実装ミスってるっぽいので参考程度に、、、後で(いつか)やり直します。
付録
参考文献
- C.M.ビショップ著,元田 浩・他訳『パターン認識と機械学習 上』,丸善出版,2012年.
- C.M.ビショップ著,元田 浩・他訳『パターン認識と機械学習 下』,丸善出版,2012年.
おわりに
- 2021.01.06
須山ベイズ本の基本編を精読できてベイズ推論の雰囲気を掴めた気がするので、PRMLに2度目の挑戦をします。頭から読み進めるのではなく、面白そうで少し背伸びすれば解けそうなものを摘み食いしていきます。
ベイズ推論関連については、須山ベイズの攻略記事も参考にしてください。
こちらの方がより初学者を意識して細かく解説しています。
- 2021.05.23
1つ目の記事を書いた次に5.6節の混合密度ネットワークをやってみたら詰まったので、しばらく別の本をやってました。そっちの本が終わったので、ぼちぼちこの本を進めるつもりです。
