からっぽのしょこ

読んだら書く!書いたら読む!同じ事は二度調べ(たく)ない

情報理論

相互情報量の定義

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、相互情報量を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 相互情報量の定義 定義 相互情報量の定義式 他のエン…

条件付きエントロピーの定義

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、条件付きエントロピーを扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 条件付きエントロピーの定義 定義 条件付…

結合エントロピーの定義

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、結合エントロピーを扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 結合エントロピーの定義 定義 結合確率の定義…

平均情報量の最大値(最大エントロピー)の導出

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、平均情報量の最大値を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 平均情報量の最大値(最大エントロピー)の導…

平均情報量(エントロピー)の定義

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、エントロピーを扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 平均情報量(エントロピー)の定義 定義 可視化 2次…

自己情報量の定義

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、自己情報量を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 自己情報量の定義 定義 加法性 参考文献 おわりに 自…

1.1.8-10:カルバック・ライブラー・ダイバージェンスとイェンゼンの不等式【『トピックモデル』の勉強ノート】

はじめに 機械学習プロフェッショナルシリーズの『トピックモデル』の勉強時に自分の理解の助けになったことや勉強会資料のまとめです。トピックモデルの各種アルゴリズムを「数式」と「プログラム」から理解することを目指します。 この記事は、1.1.8項「カ…