目次
はじめに
こんにちは。てくますプロジェクトのYukkinです!
この記事は、てくますプロジェクトが開催した輪読会「ゼロから作るDeep Learning」の活動記録です。
てくますプロジェクトは、「考える楽しさを探そう!」を合言葉に活動する、数学と情報の学習コミュニティです。各種イベントについては、ぜひ Connpass をご覧ください!
この輪読会は2023.01〜2023.03に開催しました。

本の紹介
ディープラーニングの超有名な本です。外部のライブラリに頼らず、ゼロからディープラーニングを作ることで、ディープラーニングの基本的なアイデアを学べます。とても分かりやすく面白い本です。
活動記録
第1回 2023/01/16
1章と2章を読み進め、以下の内容を学習しました。
- パーセプトロン
輪読会ではテキストの内容から少し脱線して、論理回路の完備性の話で盛り上がりました。「AND回路(∧)、OR回路(∨)、NOT回路(¬)のみですべての論理回路を構成できる」というものです。

第2回 2023/01/30
3章を読み進め、以下の内容を学習しました。
- ニューラルネットワーク
- 活性化関数
この章では、推論の具体例として、MNISTのデータセットを用いて、0〜9の手書き数字認識を取り扱いました。ただし、既にモデルは学習済みであることを前提とし、推論部分のみの実装です。

第3回 2023/02/13
4章を読み進め、以下の内容を学習しました。
- ニューラルネットワークの学習
- 損失関数
- 勾配法
「ニューラルネットワークの学習」というメイントピックに入り、面白くなってきました!

第4回 2023/02/27
5章を読み進め、以下の内容を学習しました。
- 誤差逆伝播法
- 様々なレイヤのbackward実装
輪読会では、何のための「逆伝播」なのかについて話し合いました。

第5回 2023/03/13
6章を読み進め、以下の内容を学習しました。
- パラメータの更新方法(SGD、Momentum、AdaGrad、Adam)
- 重みの初期値の工夫
- Batch Normalization
- 過学習を抑える工夫(Dropoutなど)
今回は学習に関する様々なテクニックを学びました。

第6回 2023/03/27
7章を読み進め、以下の内容を学習しました。
- 畳み込みニューラルネットワーク(CNN)
- 畳み込み層やプーリング層
ゼミでは○×判定を用いて、畳み込み層のイメージを話しました。この本も無事、読了することができて良かったです!

おわりに
ディープラーニングの理論をじっくり学ぶことができました。この本がとても面白かったので、次回はこの続編を読み進めていくことに決まりました。人数も6人くらいで安定してきて賑やかになってきました。
では、またね!


コメントを書く