からっぽのしょこ

読んだら書く!書いたら読む!同じ事は二度調べ(たく)ない

ベイズ推論

4.3.2:ポアソン混合モデルにおける推論:ギブスサンプリング【緑ベイズ入門のノート】

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.3.2項の内容です。「観測モ…

『ベイズ推論による機械学習入門』のノート:記事一覧

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」です。「数式」と「プログラム」から理解するのが目標です。 この記事は、各節の記事へのリンクページです。 …

3.3.3:1次元ガウス分布の学習と予測の導出:平均・精度が未知の場合【緑ベイズ入門のノート】

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」によって、「数式」と「プログラム」から理解するのが目標です。 省略してある内容等ありますので、本とあわせて読んでくださ…

3.3.2:1次元ガウス分布の学習と予測の導出:精度が未知の場合【緑ベイズ入門のノート】

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」によって、「数式」と「プログラム」から理解するのが目標です。 省略してある内容等ありますので、本とあわせて読んでくださ…

3.3.1:1次元ガウス分布の学習と予測の導出:平均が未知の場合【緑ベイズ入門のノート】

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」によって、「数式」と「プログラム」から理解するのが目標です。 省略してある内容等ありますので、本とあわせて読んでくださ…

3.2.3:ポアソン分布の学習と予測の導出【緑ベイズ入門のノート】

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」によって、「数式」と「プログラム」から理解するのが目標です。 省略してある内容等ありますので、本とあわせて読んでくださ…

3.2.2:カテゴリ分布の学習と予測の導出【緑ベイズ入門のノート】

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」によって、「数式」と「プログラム」から理解するのが目標です。 省略してある内容等ありますので、本とあわせて読んでくださ…

3.2.1:ベルヌーイ分布の学習と予測の導出【緑ベイズ入門のノート】

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」によって、「数式」と「プログラム」から理解するのが目標です。 省略してある内容等ありますので、本とあわせて読んでくださ…

3.6.6:周辺化ギブスサンプリング/変分ベイズ法の場合【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.6.6項の周辺化ギブスサンプリングと変分ベイズ法でハイパーパラメータの推…

3.6.4:ニュートン・ラフソン法【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.6.4項のLDAのハイパーパラメータをニュートン・ラフソン法を用いて推定す…

3.6.3:固定点反復法【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.6.3項の固定点反復法によるLDAのハイパーパラメータ推定について書いてい…

3.5.2:LDAの粒子フィルタ【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.5.2項のにLDAの学習に粒子フィルタを用いる方法について書いています。 数…

3.4.3:LDAの確率的変分ベイズ法【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.4.3節のLDAの変分ベイズ法に自然勾配法を用いて確率的最適化する手法につ…

『トピックモデルによる統計的潜在意味解析』のノート:記事一覧

はじめに 『トピックモデルによる統計的潜在意味解析』(自然言語シリーズ)の学習時のメモです。基本的な内容は、「数式の行間を読んでみた」と「プログラムを組んでみた」になります。「数式」と「プログラム」からアルゴリズムを理解する!がコンセプトです…

3.3.8:LDAの周辺化変分ベイズ法【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.3.8節の$\boldsymbol{\theta}_d, \boldsymbol{\phi}_k$を周辺化した周辺化…

3.2.4:LDAの周辺化ギブスサンプリング【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.2.4節のLDAの周辺化ギブスサンプリングについて書いています。 数学よく解…

3.2.3:LDAのギブスサンプリング【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.2.3節のLDAのギブスサンプリングについて書いています。 数学よく解らない…

3.2.2:周辺化ギブスサンプリング【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.2.2節の一般的なモデルの周辺化ギブスサンプリングについて書いています。…

3.2.1:ギブスサンプリング【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでください。 この記事では、3.2.1節の一般的なモデルのギブスサンプリングについて書いています。 数学…

3.3.7:LDAの変分ベイズ法(3)【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでいただければと思います。 この記事では、3.3.7節の単語分布に対してはMAP推定を行う場合について書い…

3.3.6:LDAの変分ベイズ法(2)【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでいただければと思います。 この記事では、3.3.6節の近似事後分布の形を仮定するLDAの変分ベイズ法につ…

3.3.4-5:LDAの変分ベイズ法(1)【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでいただければと思います。 この記事では、主に3.3.5節の近似事後分布の形を仮定しないLDAの変分ベイズ…

3.3.2:変分ベイズ法(1)【白トピックモデルのノート】

はじめに 『トピックモデルによる統計的潜在意味解析』の学習時のメモです。基本的な内容は、数式の行間を読んで埋めたものになります。本と併せて読んでいただければと思います。 この記事では、3.3.2節の変分ベイズ法について書いています。 数学よく解ら…

Chapter4.5:LDA(ギブスサンプリング)をRで組んでみた【青トピックモデルのノート】

はじめに 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に理解の助けになったことや勉強会用レジュメのまとめです。 以前の記事「Chapter4.5:R言語でトピックモデルのギブスサンプリング【『トピックモデル』の勉強ノート】 - からっぽ…

Chapter4.4:LDAをRで組んでみた【青トピックモデルのノート】

はじめに 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に理解の助けになったことや勉強会用レジュメのまとめです。 以前の記事「Chapter4.4:R言語でトピックモデルの変分ベイズ推定【『トピックモデル』の勉強ノート】 - からっぽのし…

Chapter4.5:R言語でトピックモデルのギブスサンプリング【『トピックモデル』の勉強ノート】

はじめに 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に、理解の助けになったことや勉強会用レジュメのまとめです。 この記事では、R言語でトピックモデルをギブスサンプリングによって推定する方法について書いています。Rの基本的な…

Chapter3.5:R言語で混合ユニグラムモデルのギブスサンプリング【『トピックモデル』の勉強ノート】

はじめに 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に理解の助けになったことや勉強会用レジュメのまとめです。 この記事では、R言語で混合ユニグラムモデルのパラメータをギブスサンプリングによって推定する方法について書いていま…

4.5:トピックモデルのギブスサンプリング【『トピックモデル』の勉強ノート】

はじめに 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に自分の理解の助けになったことや勉強会資料のまとめです。トピックモデルの各種アルゴリズムを「数式」と「プログラム」から理解することを目指します。 この記事は、4.5節「ギブ…

Chapter4.4:R言語でトピックモデルの変分ベイズ推定【『トピックモデル』の勉強ノート】

はじめに 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に理解の助けになったことや勉強会用レジュメのまとめです。 この記事では、R言語でトピックモデルを変分ベイズ推定するLDA(潜在ディリクレ配分モデル)を行う方法について書いてい…

4.4:トピックモデルの変分ベイズ推定【『トピックモデル』の勉強ノート】

はじめに 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に自分の理解の助けになったことや勉強会資料のまとめです。トピックモデルの各種アルゴリズムを「数式」と「プログラム」から理解することを目指します。 この記事は、4.4節「変分…