ディープラーニングのお勉強体験記”３０：番外編「XP」の各sin波コード”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作ったWindows XPの各sin波コード 前回「Windows xp」でAnacondaを使えるようにしたと紹介しました。でもって、ここではそこで動く「sin波学習コード」紹介します。わざわざ紹介する内容でもないかもしれませんが、、、、、、 「Jupyter Notebook」を使うということと(普段は「Jupyter Lab」を使ってます)、コードの先頭部分に「%matplotlib inline」を追加する、グラフの表示部分をちょっと書き換えるだけ（１波形１コマンドラインにする）と、簡単ですから、、、、、 でもまあ、一応書かせてもらいます！（簡単なことでも、それなりに苦労はしていますので） 目次 １：xp用のＲＮＮのSIN波コード ２：xp用のＬＳＴＭのSIN波コード ３：xp用のＧＲＵのSIN波コード １：xp用のＲＮＮのSIN波コード # 完成版　Windows xp用　RNNコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # プログラムの動作検証用にSINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') %matplotlib inline import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_r...
コメントを投稿

ディープラーニングのお勉強体験記”０８：RNN数式導出”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

「ゼロから作るDeep Learning 2 ―自然言語処理編」でRNNコードの数式導出


DNNの時と同様、コード全体が見えるようになったので、私としては、アルゴリズムを追いかけやすくなりました。

ということで、また同じように次のステップは「ゼロから作るDeep Learning 2 ―自然言語処理編」P216、第5章「5.5.3　RNNLMの学習コード」でRNNのバックプロパゲーションの数式を導くことにします。

まず、一般式を記すと、
（以下ウェイト:ｗについて書きます、バイアス:ｂは端折っています）
となるのですが、ここら辺の詳細は、


のサイトを見て頂けるでしょうか、私はここをとても参考にさせてもらいました。このサイトの式を「ゼロつく2」に合うように書き直したのが、ここで紹介する式ということになります。

さて、DNNのときと同様に、誤差「L」の「ｗ（ｈ）jj」と「ｗ（ｘ）ji」の勾配をチェーンルールに従って変形すると

「ｗ（ｈ）jj」の勾配の場合
となって、
「ｗ（ｘ）ji」の勾配の場合
となります。
ほぼ、DNNと一緒で、誤差「L」の「ｗ（ｈ）jj」と「ｗ（ｘ）ji」の勾配はどちらも、
が得られれば、求められことになります。
で、DNNのときと同じで、「ｄL / du」はバックプロパゲーションで求めていく、ということになります。
なんですが、、、、このときに注意することは、DNNの時とちょっとだけ違っていて、

「（ｌ）層のｄL / du」

を

「（ｌ+１）層のｄL / du」だけでなく、「（ｔ+１）層のｄL / du」の勾配

も使って、チェンルールで求めるということです。つまり（上（先）の層）と（先の時間の層）の２つの項の勾配が必要なんですね。
この後で求めますが、先に書きますと「２つ」と言っているのは
「（ｔ+１）層のｄL / du」は
のことで
「（ｌ+１）層のｄL / du」は
のことです。

では、具体的に求めてみますと、
と計算されます。（もう一度断っておきますがバイアスｂに関しては端折っています）
ここで、活性化関数ｇの微分（ｄｇ／ｄｕ）で括れば


となって、さらに今回、活性化関数ｇは「tanh()」なので、その微分が


となるので、最終的に得られる式は、


となります。
つぎは、この式とコードとの関係を見ていきたいと思います。



以上です。






コメント

コメントを投稿

このブログの人気の投稿

ディープラーニングのお勉強体験記”１７：LSTM数式導出”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードの数式導出 注）2023/8/27　すみません、本文真ん中へんの（*1ｓ）から（*1 e）の部分が数行ほど前にずれていたのを修正しました。いままで見てくれた方、ごめんなさい。 いままでと同じように、コード全体が見えるようになったので、アルゴリズムを追いかけやすくなりました。 ということで、また、いままでと同じように次のステップは「ゼロから作るDeep Learning 2 ―自然言語処理編」P216、第5章「5.5.3　RNNLMの学習コード」を変更したLSTMコードでバックプロパゲーションの数式を導くことにします。 LSTMの構造は となっています。 これをもとにバックプロパゲーション（誤差逆伝搬）の数式を導いていきました。 （いままでと同じで、以下ウェイト:ｗについて書きます、バイアス:ｂは端折っています） スタートの式は と書けるでしょうか、、、、、 で、求めたいのはWｘとＷｈの誤差勾配なので Wxに対しては と導けて、 Whに対しては と導けます。 ほぼほぼRNNの時と同じ感じで、WxとWhに共通したｄL/da・da/duを導ければ誤差逆伝搬が計算できます。そしてこのｄL/da・da/duはRNNよりちょっと複雑で４つあって、具体的には と書かれます。 これは、さらに計算を進めて整理できます。 ｃとｈが と書かれることから、この関係を使って勾配計算をすると となります。 この式を具体的に f，i，g について書くと となります。 得られた式の共通部分を と「ds」を使って表記することにすると と書き直せます。 (*1 s) この変形では、f，i がシグモイド関数、g が tanh() 関数 なので、シグモイド関数の微分がｙ（１－ｙ）の形に、 tanh() 関数の微分が（１－ｙ^2）の形になることを使いました。 (*1 e) 加えて、o については、（o もシグモイド関数なので微分がｙ（１－ｙ）の形なのを使って） と変形できます。 ということで、求めた活性化関数 f，i，g，o の誤差勾配をまとめて書くと、 となります。 これから、もし、ds と dL/dh を求められば、dL/du が得られることが分かります。 もう一度 ds を確認すると なので、結局、dL/...
Read more »

ディープラーニングのお勉強体験記”３０：番外編「XP」の各sin波コード”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作ったWindows XPの各sin波コード 前回「Windows xp」でAnacondaを使えるようにしたと紹介しました。でもって、ここではそこで動く「sin波学習コード」紹介します。わざわざ紹介する内容でもないかもしれませんが、、、、、、 「Jupyter Notebook」を使うということと(普段は「Jupyter Lab」を使ってます)、コードの先頭部分に「%matplotlib inline」を追加する、グラフの表示部分をちょっと書き換えるだけ（１波形１コマンドラインにする）と、簡単ですから、、、、、 でもまあ、一応書かせてもらいます！（簡単なことでも、それなりに苦労はしていますので） 目次 １：xp用のＲＮＮのSIN波コード ２：xp用のＬＳＴＭのSIN波コード ３：xp用のＧＲＵのSIN波コード １：xp用のＲＮＮのSIN波コード # 完成版　Windows xp用　RNNコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # プログラムの動作検証用にSINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') %matplotlib inline import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_r...
Read more »

ディープラーニングのお勉強体験記”１８：LSTMコードと数式”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードと数式の関係 前回、LSTMのバックプロパゲーション（誤差逆伝搬）の式を導きました。なので、続いてLSTMコードと数式の関係を確認していきたいと思います。 で、コードの全体は基本的にRNNと同じ内容なので、確認するのは「class LSTM」「class TimeLSTM」の「def backward(self, ＊＊＊)」に対して行います。 この部分ですね。 「class TimeLSTM」の「layer．backward()」と数式の関係は つまり、「class TimeLSTM」の部分では、（ｌ+１，ｔ）層と（ｌ，ｔ+１）層から誤差勾配をもらって、バックプロパゲーション（誤差逆伝搬）を行うわけですね。 RNNの時にも書きましたが、　”（ｌ+１，ｔ）層”　は、コード的には１層違うタイミングで計算しているので、一旦リストに保存しています、だから「dhs[：，t，：]」と書かれる訳ですね。（　” RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ ”　を参照してください） で、「Layer．backward」の中身は、下記なのですが、一部、数式を分けて表記しているので、ちょっと繋げて書くと、 とします。 でもって、コードと数式の対応は と と になります。 記号がまあまあ対応しているので、分かりやすいかなと思います。 で、この４つの勾配にそれぞれ、Wx、Whを掛け算することで、（ｌ－１）や（ｔ－１）の層にｄL/dh誤差勾配を伝播していくことができます。 こういう感じですね。（Σ記号は省略していますが、、、、、） （ｌー１）層、（ｔー１）層、（ｌ）層、（ｔ）層、（ｌ+１）層、（ｔ+１）層などごちゃごちゃ出てきてややこしいですよね。 アルゴリズムと計算（数式）では多少違いがあって、これが話をややこしくしています。なので、　” RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ ”　を見て頂くと少しは理解に役立つかも知れません。 以上です。
Read more »