ディープラーニングのお勉強体験記”２５：GRUのBPTTちょっとした補足”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

GRUバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとした補足

DNN、RNNのときに、　"「アルゴリズム」と「数式」の間のちょっとしたギャップ"　について書きましたが、LSTMもGRUも同じようなギャップがあります。ただ、GRUは、LSTMと違って、「層方向」と「時間方向」のバックプロパゲーション”BPTT”の式が微妙に違っているので、その辺を意識してみるとアルゴリズムの理解が進みやすいのかな？思った次第です。

というわけで、そんな大した話ではないのですが、ちょっと書いておこうと思います。

ただ、図を載せるだけですけど、、、、、、、

GRUの「数式」が表す、バックプロパゲーション”BPTT”は、絵的には、

です。

また、GRUの「コード」が表す、バックプロパゲーション”BPTT”は、絵的には、

です。

意味的には、RNNの時と同じです。

大雑把に言っています、コードの部分は、「数式」の処理も一応含まれていはいます。

詳細は、　”RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ”　を参照してください。

「数式」は「ｄL/dh」を導こうとして、（ｌ+１）層と（ｔ+１）層から「ｄL/dh」をもらってきます。

一方

「コード」は「ｄL/dh」から計算して、（ｌ-１）層と（ｔ-１）層への「ｄL/dh」を求め、それぞれに渡しています。

以上です。