Neural Networks study

From AHC Wiki
Jump to: navigation, search

This is a page for the Neural Networks study, a study group on Neural Networks(Deep Learning)  It is held up to participant's schedule. If you are interested in joining, please contact Shinagawa for more details.

ニューラルネット勉強会はプログラミングによる演習形式のニューラルネットワーク、深層学習に関する勉強会です。大きく3つのパートに分かれています。 勉強会は参加者の予定に応じて決めています。興味があれば、品川までご連絡ください。

Place: AHC-lab seminar room (B708)

Part1 :Introduction of neural networks(lectures & exercises) [ja]

Date Presenter Contents Materials
6/28 品川 ○講義:
・輪講の内容の復習を含めて階層型ニューラルネットについての概略
・学習について最低限知る必要のある知識について
・階層型ニューラルネット(フィードフォワードニューラルネット、リカレントニューラルネットの違い)
・バックプロパゲーション(後半で導出)           
code

photo1 photo2 photo3

7/6 品川 ○講義(前回出られなかった人への補講+α)
 ・前回の内容
 ・gradient checking
coursera_gradientchecking

gradientchecking_URL

7/21 品川 1.前回の課題で作成したEXORを解くニューラルネットを用いた実習
・目的関数の設計(MSE, cross-entropyなど)
・モメンタム法(momentum)
・荷重減衰(weight decay)
・ドロップアウト

2.(時間があれば)実データを用いた課題としてグラム先生のnlp-tutorialの7のデータを用いた実習

・SGD
[URL JP]
TBA 品川 RNN [URL JP]
TBA 品川 CNN [URL JP]

Part2 :Deep Learning Libraries survey & exercises [en,ja]

Date Presenter Contents Slides
TBA TBA Chainer
TBA TBA Tensorflow
TBA TBA Theano
TBA TBA Keras
TBA TBA Torch
TBA TBA Caffe


Part3 :paper reading [en,ja]

TBA