リカレントニューラルネットワーク（RNN　LSTM　GRU）のバックプロパゲーション（BPTT）を数式で理解したい！

「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したGRUコードと数式の関係 前回 、GRUのバックプロパゲーション（誤差逆伝搬）の式を導きました。なので、続いてGRUコードと数式の関係を確認していきたいと思います。 で、コードの全体は基本的にRNNと同じ内容なので、確認するのは「class GRU」「class TimeGRU」の「def backward(self, ＊＊＊)」に対して行います。 この部分ですね。 「class TimeGRU」の「layer．backward()」と数式の関係は つまり、「class TimeGRU」の部分では、（ｌ+１，ｔ）層と（ｌ，ｔ+１）層から誤差勾配をもらって、バックプロパゲーション（誤差逆伝搬）を行うわけですね。 RNNの時にも、LSTMの時も、書きましたが、　”（ｌ+１，ｔ）層”　は、コード的には１層違うタイミングで計算しているので、一旦リストに保存しています、だから「dhs[：，t，：]」と書かれる訳ですね。（　”RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ”　を参照してください） でもって、コードと数式の対応は（まず、「層方向の式とコード」から確認すると） コードの開始は「（ｌ+ 1）層」と「（ｔ+ 1）層」から得られた勾配「dL/dh」を「dh_next」に入力するところから始まります。 続いて、「時間方向の式とコード」を確認すると となります。 ちょっと　”ごちゃごちゃ”　し過ぎですかね、、、、、でも一つ一つ、丁寧にコードと数式を追っかけていけば、コードが数式通りに作られていることを実感できるんじゃないでしょうか、、、、、、、どうでしょう？ RNNやLSTMでも言いましたが、数式とアルゴリズムではちょっと違いがあるので、注意が必要です。 上記はアルゴリズムに対応する式なので、前回のブログで導いた数式と少し異なっています。一応、「アルゴリズムに対応する式」を、下に書いておくと、、、、 「層方向の式」は で。 「時間方向の式」は となります。 *****2024年1月5日追記＿開始****** すみません。下の「ちょっと感想」は、「学習」と「推論」を区別して書くべきでした。 私は主として「学習」の場合でコメントしていて、 「LSTMと比較してGRUが遅...

「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したGRUコードの数式導出 いままでと同じように、コード全体が見えるようになったので、アルゴリズムを追いかけやすくなりました。 ということで、また、いままでと同じように次のステップは「ゼロから作るDeep Learning 2 ―自然言語処理編」P216、第5章「5.5.3　RNNLMの学習コード」を変更したGRUコードでバックプロパゲーションの数式を導くことにします。 GRUの構造は となっています。 これをもとにバックプロパゲーション（誤差逆伝搬）の数式を導いていきました。 （いままでと同じで、以下ウェイト:ｗについて書きます、バイアス:ｂは端折っています） スタートの式は と書けるでしょうか、、、、、 ｇ＝ｚ、ｒの場合、「σ（）」はシグモイド関数で、 です。 ここでちょっと注意というか、私が困ったことです。GRUの数式の導出は、LSTMと同じように表記したかったのですが、、、、、、、、 GRUコードでは、変数に「ｈ」を使って、活性化関数にも「ｈ」を使っていました。（正確には活性化関数のｈは「h hat」でｈの上に帽子が乗っていますが、、、、） こういう感じです。この絵は このサイト からお借りいたしました。（絵は、少しだけいじっています） これは、扱い難くて困りました。ということで、LSTMでは活性化関数を「ｆ」などと表記しましたが、GRUでは「ｚ」などの活性化関数は「az」などどと表記しています。 （まあ、LSTMの表記方法をGRUに合わせれば良いのですが、現時点では「心が折れている」ので、、、、、、、いずれ、気持ちが復活すれば書き直そうかなと思っています） で、本題に戻って、求めたいのはWｘとＷｈの誤差勾配なので Wxに対しては、ｇ＝ｈ，ｚ，ｒのすべてに対して と導けて、 Whに対しては、ｇ＝ｚ，ｒに対して と導けて、 ｇ＝ｈ　に対しては、活性化関数ｕｈのＷｈ側の項が と、３項で、Wx側の項と比べて、1項多いので、 と計算されます。 「ａｒ」の項がおまけで付いてますね。 これらの式を見ればわかりますが、 が共通しています。 ほぼほぼRNNの時と同じ感じで、WxとWhに共通したｄL/da・da/duを導ければ誤差逆伝搬が計算できるということになります。そしてこのｄL/da・da/duはL...

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」をGRUコードに変更する。  ” 「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコードを全体が見えるようにする ”　で作ったコードを、LSTM同様、まんまGRUに変更します。 実際のコードがこちら。 # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外したコード　これをGRU用に変更 # coding: utf-8 import sys sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_rnnlm import SimpleRnnlm # ハイパーパラメータの設定 batch_size = 10 wordvec_size = 100 hidden_size = 100 time_size = 5 # Truncated BPTTの展開する時間サイズ lr = 0.2 max_epoch = 100 # 学習データの読み込み（データセットを小さくする） corpus, word_to_id, id_to_word = ptb.load_data('train') corpus_size = 1000 corpus = corpus[:corpus_size] vocab_size = int(max(corpus) + 1) xs = corpus[:-1] ...

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」を使って作ったLSTMの「２進数足し算の学習コード」を２層化する。 RNNのところで、P216、第5章「5.5.3　RNNLMの学習コード」に手を加えて、それを 「２進数足し算の学習コード」 にしましたが、前回それを LSTMコード に作り替えました。そして今回はさらにそのコードを２層化します。 それがこれ！ P216、第5章「5.5.3　RNNLMの学習コード」を使ったLSTMの「２進数足し算の学習コード」を中間層を２層化したコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # ２進数の計算をするLSTMコード　（入力データ、テストデータ共にコードでクラスから作成している） # 中間層を1層追加して中間層を２層としたコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_rnnlm import SimpleRnnlm # np.random.seed(seed=100) # 発生する乱数を固定する() # ハイパーパラメータの設定 batch_size = 8 time_size = 10 # Truncated BPTTの展開する時間サイズ n_in = 2 #...

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」を使って作った「２進数足し算の学習コード」をLSTMにする。 RNNのところで、P216、第5章「5.5.3　RNNLMの学習コード」に手を加えて、それを 「２進数足し算の学習コード」 にしましたが、それをLSTMコードに作り替えました。 それがこれ！ P216、第5章「5.5.3　RNNLMの学習コード」を使った「２進数足し算の学習コード」をLSTMに作り変えたコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # ２進数の計算をするLSTMコード　（入力データ、テストデータ共にコードでクラスから作成している） # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_rnnlm import SimpleRnnlm # np.random.seed(seed=100) # 発生する乱数を固定する() # ハイパーパラメータの設定 batch_size = 10 time_size = 10 # Truncated BPTTの展開する時間サイズ n_in = 2 # 入力層のニューロン数 n_mid = 32 # 中間層のニューロン数 n_out = 1 # 出力層のニュ...

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」を使って作ったSIN波の学習コードをLSTMにする。 RNNのところで、P216、第5章「5.5.3　RNNLMの学習コード」に手を加えて、それを「SIN波の学習コード」にしましたが、それをLSTMコードに作り替えました。 それがこれ P216、第5章「5.5.3　RNNLMの学習コード」を使ったSIN波の学習コードのLSTMに作り変えたコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # SINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_rnnlm import SimpleRnnlm np.random.seed(seed=773) # 発生する乱数を固定する(773 326 512 138) # ハイパーパラメータの設定 batch_size = 10 time_size = 10 # Truncated BPTTの展開する時間サイズ n_in = 1 # 入力層のニューロン数 n_mid = 45 # 中間層のニューロン数 n_out = 1 # 出力層のニューロン数 # できるだけオリジナルのコードに変更を加えない...