ディープラーニングのお勉強体験記”１８：LSTMコードと数式”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードと数式の関係

前回、LSTMのバックプロパゲーション（誤差逆伝搬）の式を導きました。なので、続いてLSTMコードと数式の関係を確認していきたいと思います。

で、コードの全体は基本的にRNNと同じ内容なので、確認するのは「class LSTM」「class TimeLSTM」の「def backward(self, ＊＊＊)」に対して行います。

この部分ですね。

「class TimeLSTM」の「layer．backward()」と数式の関係は

つまり、「class TimeLSTM」の部分では、（ｌ+１，ｔ）層と（ｌ，ｔ+１）層から誤差勾配をもらって、バックプロパゲーション（誤差逆伝搬）を行うわけですね。

RNNの時にも書きましたが、　”（ｌ+１，ｔ）層”　は、コード的には１層違うタイミングで計算しているので、一旦リストに保存しています、だから「dhs[：，t，：]」と書かれる訳ですね。（　”RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ”　を参照してください）

で、「Layer．backward」の中身は、下記なのですが、一部、数式を分けて表記しているので、ちょっと繋げて書くと、

とします。

でもって、コードと数式の対応は

と

と

になります。

記号がまあまあ対応しているので、分かりやすいかなと思います。

で、この４つの勾配にそれぞれ、Wx、Whを掛け算することで、（ｌ－１）や（ｔ－１）の層にｄL/dh誤差勾配を伝播していくことができます。

こういう感じですね。（Σ記号は省略していますが、、、、、）

（ｌー１）層、（ｔー１）層、（ｌ）層、（ｔ）層、（ｌ+１）層、（ｔ+１）層などごちゃごちゃ出てきてややこしいですよね。

アルゴリズムと計算（数式）では多少違いがあって、これが話をややこしくしています。なので、　”RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ”　を見て頂くと少しは理解に役立つかも知れません。

以上です。