からっぽのしょこ

読んだら書く!書いたら読む!同じ事は二度調べ(たく)ない

SGD

7.3.5:オプティマイザ(最適化手法)【ゼロつく4のノート】

はじめに 『ゼロから作るDeep Learning 4 ――強化学習編』の独学時のまとめノートです。初学者の補助となるようにゼロつくシリーズの4巻の内容に解説を加えていきます。本と一緒に読んでください。 この記事は、7.3.5項の内容です。DeZeroを利用して最適化手…

7.1.3:勾配降下法【ゼロつく4のノート】

はじめに 『ゼロから作るDeep Learning 4 ――強化学習編』の独学時のまとめノートです。初学者の補助となるようにゼロつくシリーズの4巻の内容に解説を加えていきます。本と一緒に読んでください。 この記事は、7.1.3節の内容です。DeZeroを利用して勾配降下…

4.4.1:勾配法【ゼロつく1のノート(数学)】

はじめに 「機械学習・深層学習」初学者のための『ゼロから作るDeep Learning』の攻略ノートです。『ゼロつくシリーズ』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 ニューラルネットワーク内部の計算について、数学的背景の…

6.1.6:Adam【ゼロつく1のノート(実装)】

はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つず…

6.1.x:RMSProp【ゼロつく1のノート(実装)】

はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つず…

6.1.5:AdaGrad【ゼロつく1のノート(実装)】

はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つず…

6.1.4:Momentum【ゼロつく1のノート(実装)】

はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つず…

6.1.2:SGD【ゼロつく1のノート(実装)】

はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つず…