リカレントニューラルネットワーク（RNN　LSTM　GRU）のバックプロパゲーション（BPTT）を数式で理解したい！

「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードの数式導出 注）2023/8/27　すみません、本文真ん中へんの（*1ｓ）から（*1 e）の部分が数行ほど前にずれていたのを修正しました。いままで見てくれた方、ごめんなさい。 いままでと同じように、コード全体が見えるようになったので、アルゴリズムを追いかけやすくなりました。 ということで、また、いままでと同じように次のステップは「ゼロから作るDeep Learning 2 ―自然言語処理編」P216、第5章「5.5.3　RNNLMの学習コード」を変更したLSTMコードでバックプロパゲーションの数式を導くことにします。 LSTMの構造は となっています。 これをもとにバックプロパゲーション（誤差逆伝搬）の数式を導いていきました。 （いままでと同じで、以下ウェイト:ｗについて書きます、バイアス:ｂは端折っています） スタートの式は と書けるでしょうか、、、、、 で、求めたいのはWｘとＷｈの誤差勾配なので Wxに対しては と導けて、 Whに対しては と導けます。 ほぼほぼRNNの時と同じ感じで、WxとWhに共通したｄL/da・da/duを導ければ誤差逆伝搬が計算できます。そしてこのｄL/da・da/duはRNNよりちょっと複雑で４つあって、具体的には と書かれます。 これは、さらに計算を進めて整理できます。 ｃとｈが と書かれることから、この関係を使って勾配計算をすると となります。 この式を具体的に f，i，g について書くと となります。 得られた式の共通部分を と「ds」を使って表記することにすると と書き直せます。 (*1 s) この変形では、f，i がシグモイド関数、g が tanh() 関数 なので、シグモイド関数の微分がｙ（１－ｙ）の形に、 tanh() 関数の微分が（１－ｙ^2）の形になることを使いました。 (*1 e) 加えて、o については、（o もシグモイド関数なので微分がｙ（１－ｙ）の形なのを使って） と変形できます。 ということで、求めた活性化関数 f，i，g，o の誤差勾配をまとめて書くと、 となります。 これから、もし、ds と dL/dh を求められば、dL/du が得られることが分かります。 もう一度 ds を確認すると なので、結局、dL/...

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作ったWindows XPの各sin波コード 前回「Windows xp」でAnacondaを使えるようにしたと紹介しました。でもって、ここではそこで動く「sin波学習コード」紹介します。わざわざ紹介する内容でもないかもしれませんが、、、、、、 「Jupyter Notebook」を使うということと(普段は「Jupyter Lab」を使ってます)、コードの先頭部分に「%matplotlib inline」を追加する、グラフの表示部分をちょっと書き換えるだけ（１波形１コマンドラインにする）と、簡単ですから、、、、、 でもまあ、一応書かせてもらいます！（簡単なことでも、それなりに苦労はしていますので） 目次 １：xp用のＲＮＮのSIN波コード ２：xp用のＬＳＴＭのSIN波コード ３：xp用のＧＲＵのSIN波コード １：xp用のＲＮＮのSIN波コード # 完成版　Windows xp用　RNNコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # プログラムの動作検証用にSINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') %matplotlib inline import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_r...

「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードと数式の関係 前回、LSTMのバックプロパゲーション（誤差逆伝搬）の式を導きました。なので、続いてLSTMコードと数式の関係を確認していきたいと思います。 で、コードの全体は基本的にRNNと同じ内容なので、確認するのは「class LSTM」「class TimeLSTM」の「def backward(self, ＊＊＊)」に対して行います。 この部分ですね。 「class TimeLSTM」の「layer．backward()」と数式の関係は つまり、「class TimeLSTM」の部分では、（ｌ+１，ｔ）層と（ｌ，ｔ+１）層から誤差勾配をもらって、バックプロパゲーション（誤差逆伝搬）を行うわけですね。 RNNの時にも書きましたが、　”（ｌ+１，ｔ）層”　は、コード的には１層違うタイミングで計算しているので、一旦リストに保存しています、だから「dhs[：，t，：]」と書かれる訳ですね。（　” RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ ”　を参照してください） で、「Layer．backward」の中身は、下記なのですが、一部、数式を分けて表記しているので、ちょっと繋げて書くと、 とします。 でもって、コードと数式の対応は と と になります。 記号がまあまあ対応しているので、分かりやすいかなと思います。 で、この４つの勾配にそれぞれ、Wx、Whを掛け算することで、（ｌ－１）や（ｔ－１）の層にｄL/dh誤差勾配を伝播していくことができます。 こういう感じですね。（Σ記号は省略していますが、、、、、） （ｌー１）層、（ｔー１）層、（ｌ）層、（ｔ）層、（ｌ+１）層、（ｔ+１）層などごちゃごちゃ出てきてややこしいですよね。 アルゴリズムと計算（数式）では多少違いがあって、これが話をややこしくしています。なので、　” RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ ”　を見て頂くと少しは理解に役立つかも知れません。 以上です。