からっぽのしょこ

読んだら書く!書いたら読む!同じ事は二度調べ(たく)ない

『トピックモデル』の勉強ノート:記事一覧

はじめに

 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に理解の助けになったことや勉強会用レジュメのまとめです。トピックモデルの各種アルゴリズムを「数式」と「プログラム」から理解することを目指します。

 基本的な内容は「数式の行間を高校数学レベルで埋める」と「疑似コードを基本的な関数で実装する」になります。本とあわせて読んでください。

 この記事は、各節の解説記事へのリンクページです。

トピックモデル

【目次】


Chpter1 確率の基礎

1.1 確率

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com

1.2 確率分布

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com


Chapter2 ユニグラムモデル

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com


Chapter3 混合ユニグラムモデル

www.anarchive-beta.com

3.3 EMアルゴリズム

【数式編】

www.anarchive-beta.com

【プログラム編】

www.anarchive-beta.com

www.anarchive-beta.com


3.4 変分ベイズ推定

【数式編】

www.anarchive-beta.com

【プログラム編】

www.anarchive-beta.com

www.anarchive-beta.com


3.5 ギブズサンプリング

【数式編】

www.anarchive-beta.com

【プログラム編】

www.anarchive-beta.com


Chapter 4 トピックモデル

www.anarchive-beta.com

4.3 最尤推定

【理論】

www.anarchive-beta.com

【実装】

www.anarchive-beta.com

www.anarchive-beta.com

4.4 変分ベイズ推定

【理論】

www.anarchive-beta.com

【実装】

www.anarchive-beta.com

www.anarchive-beta.com

4.5 ギブズサンプリング

【理論】

www.anarchive-beta.com

【実装】

www.anarchive-beta.com

www.anarchive-beta.com


Chapter 5 トピックモデルの拡張:他の情報も利用する

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com

www.anarchive-beta.com


Chapter 6 トピックモデルの拡張:トピックに構造を入れる

 白トピ本の4章が終わったらね。

参考書籍

  • 岩田具治(2015)『トピックモデル』(機械学習プロフェッショナルシリーズ)講談社


おわりに

 微積から怪しい人でも「トピックモデル」を理解できる!をコンセプトに書いております。
 高校数学から投げ出してしまったことを今更後悔している自分向けの解説です。分かる人にとってはかなりくどい説明になっているかと思います。

 現在勉強中ですので理解の程はまだ粗いですが、機械学習関連の入門書も入手しましたので何周かしながら加筆修正していくつもりです。また、内容に何かあればご指摘いただけると嬉しいです。

 特に同じ様な立場の方の参考になれば幸いです。

 コードのちょっとした改修はGitHubで管理しています。

github.com


2019/08/13:2~4章の修正作業が完了しました。
2019/08/24:1章も加筆修正しました。

 この目次ページをもっと見やすく方法やレイアウトって何かありませんかね??

  • 2019/12/22

 白本版ノートも書いております。

www.anarchive-beta.com

 こちらの方が扱うレベルが高いですね。青本から入る方が無難です。

  • 2020.06.08

 2回目の大幅加筆修正作業を始めました。記事タイトルにChapterがないものが修正済みの記事になります。

  • 2020.09.24

 数式読解編の修正作業が全章終了しました!

  • 2020.10.03

 気分がノってたので、(実装編の修正は放置して)5章を進め始めましたー。行間がすんごく広いー、でもギリギリギリ追えるぞ!4章の更新から10か月空きましたが、その分の成長を感じてます。詰まったらコードを改修します。

  • 2020.11.05

 5章の更新が完了しました。実装もしたいけど4章の崩壊型ギブスサンプリングの時点で組めてるのか微妙だったので保留にします。次は白トピ本の4章に進んで、それが終われば白トピ5章と合わせてこちらの6章を進める予定です、今のところ。