リカレントニューラルネットワーク（RNN　LSTM　GRU）のバックプロパゲーション（BPTT）を数式で理解したい！

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作った各コードをWindows XPで動かしてみる 私が持っているノートPCの１つに「Dell Inspiron Mini 10」があります。 これです。 もう古くて、メモリは最大で2GBまでしか増やせず、OSもWindows XPです。遅いし、古いし、セキュリティも怪しいので、処分するべきなんでしょうけど、、、、、、、、、（ちなみに、このPCはネットアクセスはできますが、基本的にしていません [このPCのWifiを切っている] 、ダウンロードファイルは別のPCで行って、そこからUSBでコピーするという使い方です。） 愛着があって手放せません、、、、、、 以前、メモリを１GBから２GBに増やして、ストレージもHDからSSDに変えたら、かなり動作速度が改善されました（それでも「遅い」ですけど、、、、、私的にはギリOKなんです！） ということで、まだまだ現役でいて欲しいこのXPマシンで、コードを動かしてみたくなりました。 ネットを検索したところ、このサイトにたどり着きました。以前のバージョンのAnacondaでないとxpマシンでは動作できないようです。（下記サイトを作って頂いた方には感謝！感謝！です） [メモ][Python] AnacondaをWindows xpにインストールしようとすると失敗する ここから 「Anaconda3-2.2.0-Windows-x86.exe」 をダウンロードして、xpのPCにインストールしました。 なお、私がダウンロードしたファイルは ここ にも置いてありますので、こちらからも入手できるようにしておきますね。 これでxpのPCでもPythonが使えるようになりました。 ちなみに、私はAnacondaデビューがわりと最近だったため、いままで「Jupyter Lab」を使ってきました、でも、今回のAnacondaは古いバージョンなので、「Jupyter Notebook」しかありませんでした。というわけで、xpのPCでは「Jupyter Notebook」を使っています。 いままで紹介してきたコードは「ゼロつく」のコードを「いじった」ものですが、フレームワークなどを使っていないせいなのか、古いAnaco...

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」を使って作ったGRUの「２進数足し算の学習コード」を２層化する。 前回、 「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」を使って作った「２進数足し算の学習コード」をGRUにしました 、そして今回はさらにそのコードを２層化します。 それがこれ！ P216、第5章「5.5.3　RNNLMの学習コード」を使ったGRUの「２進数足し算の学習コード」の中間層を２層化したコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # ２進数の計算をするGRUコード　（入力データ、テストデータ共にコードでクラスから作成している） # 中間層を1層追加して中間層を２層としたコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_rnnlm import SimpleRnnlm # np.random.seed(seed=100) # 発生する乱数を固定する() # ハイパーパラメータの設定 batch_size = 10 time_size = 10 # Truncated BPTTの展開する時間サイズ n_in...

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」を使って作った「２進数足し算の学習コード」をGRUにする。 RNNのところで、P216、第5章「5.5.3　RNNLMの学習コード」に手を加えて、それを「２進数足し算の学習コード」にしましたが、それをGRUコードに作り替えました。 それがこれ！ P216、第5章「5.5.3　RNNLMの学習コード」を使った「２進数足し算の学習コード」をGRUに作り変えたコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # ２進数の計算をするコード　（入力データ、テストデータ共にコードでクラスから作成している） # 中間層を1層追加して中間層を２層としたコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_rnnlm import SimpleRnnlm # np.random.seed(seed=100) # 発生する乱数を固定する() # ハイパーパラメータの設定 batch_size = 10 time_size = 10 # Truncated BPTTの展開する時間サイズ n_in = 2 # 入力層のニューロン数 n_mid = 32 # 中間層のニューロン数 n_ou...

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」を使って作ったSIN波の学習コードをGRUにする。 RNNのところで、P216、第5章「5.5.3　RNNLMの学習コード」に手を加えて、それを 「SIN波の学習コード」 にしましたが、それをGRUコードに作り替えました。 それがこれ。 P216、第5章「5.5.3　RNNLMの学習コード」を使ったSIN波の学習コードのGRUに作り変えたコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # SINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_rnnlm import SimpleRnnlm np.random.seed(seed=7724) # 発生する乱数を固定する(7724) # ハイパーパラメータの設定 batch_size = 10 time_size = 10 # Truncated BPTTの展開する時間サイズ n_in = 1 # 入力層のニューロン数 n_mid = 45 # 中間層のニューロン数 n_out = 1 # 出力層のニューロン数 # できるだけオリジナルのコードに変更を加えないため、既存の変数に代...