ディープラーニングのお勉強体験記”０４：DNNコードと数式”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

「ゼロから作るDeep Learning2ー自然言語処理編」のディープラニング”DNN”コードと数式の関係

前回、DNNのバックプロパゲーション”誤差逆伝搬”の式（活性化関数がシグモイド関数の場合）

を導きました。

この関係があれば、１つ上の（ｌ+１）層から

をもらってくれば「（ｌ）層のｄＬ／ｄｕ」を求めることができるということですね。

（いままで同様バイアスに関しては省略させてもらってます）

つまり、この式に（ｌ）層の活性化関数の微分を掛けて（今の場合シグモイド関数の微分、「（1-ｙ）ｙ」を掛けて）

となって

が得られます。（これをそのまんま、以下、コードで確認します）

ここまでくると、

「数式とコードの関係をきちんと理解したい！」

となりまして、、、、、、

まず、メインルーチンを確認しますと、、、、

「class TwoLayerNet」を「model」として、インスタンス化して、「model.backward()」でバックプロパゲーション”誤差逆伝播”の計算をしているとなっています。

それではということで、「class TwoLayerNet」を確認すると、、、、、、

レイヤーが、

「Affine(W1, b1)」

「Sigmoid()」

「Affine(W2, b2)」

「SoftmaxWithLoss()」

で構成されていて、バックプロパゲーション”誤差逆伝播”の計算を、「この順番をひっくり返して行う（reversed）」というコードになっています。

ここからさらに、個々のレイヤーのバックプロパゲーション（誤差逆伝播）つまり「backward」を確認しますと、、、、、

まず、レイヤーの順番をひっくり返して、

さらに対応する、それぞれのレイヤの「backward」部分だけを書き出すと、

この4つのレイヤーを逆に並べて、「backward」からバックプロパゲーション”誤差逆伝播”を行っているというわけですね。

ここまでコードを確認したので、DNNコードと数式の関係を確認できそうです。

確認したいのは、バックプロパゲーション（誤差逆伝播）の式

が、「コードでどのように対応しているか」です。

まず、出力層の「SoftmaxWithLoss」は、Softmax関数を交差エントロピー誤差で計算しています。その場合、交差エントロピー誤差の勾配（微分）は（y - t)になりますので。

（y - t)　は　「ｄＬ/ｄｕ（ｌ+１）層」

に対応するということですね。というわけで

これを「dx」としてreturnします。

で、「dx」は「dout」として「Affine(W2, b2).backward」レイヤーに入りますので、

また、同じようにこれを「dx」としてreturnします。ここまでが（ｌ + １）層で、次は（ｌ）層になって

「dx」を「dout」として「Sigmoid().backward」レイヤーに渡すので

となって、

が得られました。

なのでこれを、またまた「dx」で「dout」として「Affine(W1, b1).backward」レイヤーに渡すと

と計算できるので、

　　　　　ｗ（更新後）　＝　ｗ（更新前）ー　η（ｄＬ/ｄｗ）

から、ウェイトｗを学習していくことができるというわけですね。

一応、今の流れを、もう一度、矢印を使って確認すると

となるでしょうか。

うーん、ここまでくると、DNNのバックプロパゲーション”誤差逆伝播”をわかった気になりましたねー。

それにですね、バックプロパゲーション”誤差逆伝播”が分かるとディープラーニングそのものが分かったような気になるので、個人的には良かったです。

以上です。