輪読会「ゼロから作るDeep Learning」活動記録

はじめに

こんにちは。てくますプロジェクトのYukkinです!

この記事は、てくますプロジェクトが開催した輪読会「ゼロから作るDeep Learning」の活動記録です。

てくますプロジェクトは、「考える楽しさを探そう!」を合言葉に活動する、数学と情報の学習コミュニティです。各種イベントについては、ぜひ Connpass をご覧ください!

この輪読会は2023.01〜2023.03に開催しました。

本の紹介

ディープラーニングの超有名な本です。外部のライブラリに頼らず、ゼロからディープラーニングを作ることで、ディープラーニングの基本的なアイデアを学べます。とても分かりやすく面白い本です。

活動記録

第1回 2023/01/16

1章と2章を読み進め、以下の内容を学習しました。

  • パーセプトロン

輪読会ではテキストの内容から少し脱線して、論理回路の完備性の話で盛り上がりました。「AND回路(∧)、OR回路(∨)、NOT回路(¬)のみですべての論理回路を構成できる」というものです。

第2回 2023/01/30

3章を読み進め、以下の内容を学習しました。

  • ニューラルネットワーク
  • 活性化関数

この章では、推論の具体例として、MNISTのデータセットを用いて、0〜9の手書き数字認識を取り扱いました。ただし、既にモデルは学習済みであることを前提とし、推論部分のみの実装です。

第3回 2023/02/13

4章を読み進め、以下の内容を学習しました。

  • ニューラルネットワークの学習
  • 損失関数
  • 勾配法

「ニューラルネットワークの学習」というメイントピックに入り、面白くなってきました!

第4回 2023/02/27

5章を読み進め、以下の内容を学習しました。

  • 誤差逆伝播法
  • 様々なレイヤのbackward実装

輪読会では、何のための「逆伝播」なのかについて話し合いました。

第5回 2023/03/13

6章を読み進め、以下の内容を学習しました。

  • パラメータの更新方法(SGD、Momentum、AdaGrad、Adam)
  • 重みの初期値の工夫
  • Batch Normalization
  • 過学習を抑える工夫(Dropoutなど)

今回は学習に関する様々なテクニックを学びました。

第6回 2023/03/27

7章を読み進め、以下の内容を学習しました。

  • 畳み込みニューラルネットワーク(CNN)
  • 畳み込み層やプーリング層

ゼミでは○×判定を用いて、畳み込み層のイメージを話しました。この本も無事、読了することができて良かったです!

おわりに

ディープラーニングの理論をじっくり学ぶことができました。この本がとても面白かったので、次回はこの続編を読み進めていくことに決まりました。人数も6人くらいで安定してきて賑やかになってきました。

では、またね!

コメントを書く

ABOUT US
アバター画像
Yukkin
高校生のプログラミング教育を支える仕事をしています。数学とプログラミングとボードゲームが好きです。よろしくお願いします!