ディープラーニングのお勉強体験記”２３：GRU数式導出”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したGRUコードの数式導出

いままでと同じように、コード全体が見えるようになったので、アルゴリズムを追いかけやすくなりました。

ということで、また、いままでと同じように次のステップは「ゼロから作るDeep Learning 2 ―自然言語処理編」P216、第5章「5.5.3　RNNLMの学習コード」を変更したGRUコードでバックプロパゲーションの数式を導くことにします。

GRUの構造は

となっています。

これをもとにバックプロパゲーション（誤差逆伝搬）の数式を導いていきました。

（いままでと同じで、以下ウェイト:ｗについて書きます、バイアス:ｂは端折っています）

スタートの式は

と書けるでしょうか、、、、、

ｇ＝ｚ、ｒの場合、「σ（）」はシグモイド関数で、

です。

ここでちょっと注意というか、私が困ったことです。GRUの数式の導出は、LSTMと同じように表記したかったのですが、、、、、、、、

GRUコードでは、変数に「ｈ」を使って、活性化関数にも「ｈ」を使っていました。（正確には活性化関数のｈは「h hat」でｈの上に帽子が乗っていますが、、、、）

こういう感じです。この絵はこのサイトからお借りいたしました。（絵は、少しだけいじっています）

これは、扱い難くて困りました。ということで、LSTMでは活性化関数を「ｆ」などと表記しましたが、GRUでは「ｚ」などの活性化関数は「az」などどと表記しています。

（まあ、LSTMの表記方法をGRUに合わせれば良いのですが、現時点では「心が折れている」ので、、、、、、、いずれ、気持ちが復活すれば書き直そうかなと思っています）

で、本題に戻って、求めたいのはWｘとＷｈの誤差勾配なので

Wxに対しては、ｇ＝ｈ，ｚ，ｒのすべてに対して

と導けて、

Whに対しては、ｇ＝ｚ，ｒに対して

と導けて、

ｇ＝ｈ　に対しては、活性化関数ｕｈのＷｈ側の項が

と、３項で、Wx側の項と比べて、1項多いので、

と計算されます。

「ａｒ」の項がおまけで付いてますね。

これらの式を見ればわかりますが、

が共通しています。

ほぼほぼRNNの時と同じ感じで、WxとWhに共通したｄL/da・da/duを導ければ誤差逆伝搬が計算できるということになります。そしてこのｄL/da・da/duはLSTMよりだいぶ複雑になっています。

ではまず、ｄL/da・da/duを具体的に求めてみます。

（以下　「・・・と導けます」　と書いていますが、「dL/dh」が現れるように意図的に変形しています、たぶんこれは「式をコードにするための計算」の「センス」が問われる部分ではないのかと思うのです（たぶんですけど、、、）、LSTMのところでも書きましたけど、よくもまあ、誰だか知らないのですが（ここでも開発者に失礼です、すみません）こんな大変な計算したなあー、、、と、やっぱりものすごく尊敬してしまいます。（繰り返しになりますがパイオニアは、ほんと大変で、欧米の社会の人たちの底力を感じずにはいられません！！！！））

ｇ＝ｈの場合は、

と導けます。この計算には、

を使っています。

ｇ＝ｚの場合は、

と導けます。この計算には、

を使っています。

ｇ＝ｒの場合は、ちょっと計算が複雑になります。その理由はｕｈが、ａｒを介して、ｕｒの関数となっているためで、

という関係があるためです。

この関係を使えば「dL/dur」は、「dL/duh」に書き換えられて

と計算されます。

で、最後の式の最後の項は、

となりますので、最終的に

が得られます。

以上をまとめると、（つまり　ｇ＝ｈ、ｚ、ｒ　の場合）

となります。

この３つの式から、

が共通しているので、これを求めれば、良いことがわかります。というわけで、ここから「dL/dh」をバックプロパゲーションで求めることを考えていきます。

ということで「dL/dh」を「（ｌ+１）層」と「（ｔ+１）層」の勾配で展開しますと

と、なります。

ここで最後の項は、ｈについて

という関係があるので、和は、「ｊ」の項のみが残り、

と求まります。

で、次の計算として上の式のうち、下のように四角で囲まれた部分については、

この下のように、（ｌ+１）層側に対しては

と、なり、同様に、（ｔ+１）層側に対しては

と導けます。（最後の項はポイントですね。GRUでは、層方向と時間方向の逆伝搬では式が微妙に違うんですね。）

でもって、今までの導出した式をまとめると、下記のようになります。

これが、GRUのバックプロパゲーション”BPTT”の式になります。

この式をよく見ると、（ｌ+１）層の部分と（ｔ+１）層の部分では数式に微妙な式の違いが見られていますね。ここは、ＧＲＵがＬＳＴＭと決定的に違うところだと思っています。

LSTMの場合は、（ｌ+１）層の部分と（ｔ+１）層の部分では数式の形は同じです（”「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードの数式導出”　を参照してください）

この次は、GRUのコードと数式の関係を書こうと思っていますが、GRUのコードはLSTMのコードより複雑にみえます。

それは、GRUでは、この

「（ｌ+１）層の部分と（ｔ+１）層の部分では数式に微妙な違いがある」

ことが理由のようです。

以上です。

コメント