からっぽのしょこ

読んだら書く!書いたら読む!同じ事は二度調べ(たく)ない

『ゼロから作るDeep Learning 3』の学習ノート:記事一覧

はじめに

 『ゼロから作るDeep Learning 3――フレームワーク編』の初学者向け攻略ノートです。『ゼロつく3』の学習の補助となるように適宜解説を加えていきます。本と一緒に読んでください。

 この記事は、各ステップの解説記事へのリンクページです。記事は少しずつ増えていくはずです。

【前巻の内容】

www.anarchive-beta.com

【目次】

記事一覧

第3ステージ 高階微分を実現する

 $\sin$関数のテイラー展開自体はこの先で使いませんが、$\sin$関数を用いてテイラー展開による近似を体感します。

www.anarchive-beta.com

 ローゼンブロック関数を手元で可視化する必要性はありませんが、本の図を再現するには少々加工が要りましたのでそのメモです。後半は、勾配降下法の雰囲気をグラフとアニメーションで確認します。

www.anarchive-beta.com

 勾配降下法とニュートン法の特徴を簡単に確認します。

www.anarchive-beta.com

 本筋には関わらないため省略されているutils.reshape_sum_backward()の処理を確認します。

www.anarchive-beta.com

 本筋には関わらないため省略されているutils.sum_to()の処理を確認します。

www.anarchive-beta.com

 Linearクラスを実装するのに必要な逆伝播を導出します。行列の積の逆伝播についてもこの記事の内容とほとんど同じです。

www.anarchive-beta.com

 MeanSquaredErrorクラスを実装するのに必要な逆伝播を導出します。

www.anarchive-beta.com

 LinearクラスとMeanSquaredErrorクラスを用いて線形回帰を行います。

www.anarchive-beta.com

 シグモイド関数については、この記事で扱いました。

www.anarchive-beta.com

 シグモイド関数の逆伝播については、この記事で扱いました。

www.anarchive-beta.com

 これまでに実装したDeZeroモジュールを使って、簡単なニューラルネットワークを作成して、学習を行います。

www.anarchive-beta.com

 AdaDelta以外の最適化アルゴリズムは1巻の6.1節で確認しました。

www.anarchive-beta.com

 各アルゴリズムのクラスを試してみます。

www.anarchive-beta.com

つづく

参考文献

  • 斎藤康毅『ゼロから作るDeep Learning 3 ――フレームワーク編』オライリー・ジャパン,2020年.

おわりに

  • 2021.06.06

 理論面に関しては1・2巻と被る内容が多々あると思うので、1・2巻のときのように全てを解説することはないはずと思っています。これまでに書いた記事を流用しつつ、自分が気になったところを適宜掘り下げていきます。

【次巻の内容】

 楽しみ。