ディープラーニングのお勉強体験記”３０：番外編「XP」の各sin波コード”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作ったWindows XPの各sin波コード 前回「Windows xp」でAnacondaを使えるようにしたと紹介しました。でもって、ここではそこで動く「sin波学習コード」紹介します。わざわざ紹介する内容でもないかもしれませんが、、、、、、 「Jupyter Notebook」を使うということと(普段は「Jupyter Lab」を使ってます)、コードの先頭部分に「%matplotlib inline」を追加する、グラフの表示部分をちょっと書き換えるだけ（１波形１コマンドラインにする）と、簡単ですから、、、、、 でもまあ、一応書かせてもらいます！（簡単なことでも、それなりに苦労はしていますので） 目次 １：xp用のＲＮＮのSIN波コード ２：xp用のＬＳＴＭのSIN波コード ３：xp用のＧＲＵのSIN波コード １：xp用のＲＮＮのSIN波コード # 完成版　Windows xp用　RNNコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # プログラムの動作検証用にSINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') %matplotlib inline import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_r...
コメントを投稿

ディープラーニングのお勉強体験記”０３：DNN数式導出”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

「ゼロから作るDeep Learning2ー自然言語処理編」でDNNコードの数式導出


コード全体が見えるようになったので、私としては、アルゴリズムを追いかけやすくなりました。

ということで、次のステップは「ゼロから作るDeep Learning 2 ―自然言語処理編」P.45、第1章「1.4.3　学習用のソースコード」のDNNのバックプロパゲーションの数式を導くことにします。（DNNは一番基本的なディープラーニングのつもりです）

まず、基本的なDNNでは、ニューロンが






DNNのニューロン例の図：（ｌ）層のｊ番目のニューロンに（ｌ－１）層の3個のニューロンから信号が入るときの例（元になった画像は他のサイトから頂きました）



という感じで表されるので、これをもとに考えると一般式は

（以下ウェイト:ｗについて書きます、バイアス:ｂは端折っています）

と表せます。ｇは活性化関数ですね。
求めたいのは、「ｄＬ/ｄｗ」ですから
（ｗを更新するのに学習率ηを適当に設定して、
　　　　　ｗ（更新後）　＝　ｗ（更新前）ー　η（ｄＬ/ｄｗ）
とういうことを皆さんが知っているテイでお話ししてますけど、、、、、、）

上式をもとに、誤差「L」の、ｗjiの勾配をチェーンルールに従って変形すると
となるので、誤差「L]のwjiの勾配は
を求めれば、得られることになります。
では、「ｄＬ／ｄｕ」をどうやって求めるのか？
このときに、誤差逆伝播法、バックプロパゲーションの登場となるわけですね。

早速、「ｌ層のｄＬ／ｄｕ」を「ｌ+１層のｄＬ／ｄｕ」にチェーンルールで書き換えると
上記の2行目から3行目はバイアスｂをｕで微分すると”0”なので先に落としました。
さらに、ｙ＝ｇ（ｕ）を使って
最終的に
が得られます。

ちなみに、ｇがシグモイド関数の場合は、ｕで微分すると
となりますので、
とも表せます。

誤差逆伝播とは、上式が、

　「ｄＬ/ｄｕ（ｌ+1）層」　から　「ｄＬ/ｄｕ（ｌ）層」が得られる！

ことを表しているためにそう呼ばれているんですね。（のはず、、、、）

むかし習った数列に似ているようです。何らかの方法で、「最初の項が分かればあとは順番に求まっていく」ということです。ただ、誤差逆伝播法の場合は「最初の項」ではなくて「最後の項」から始まって、逆の順番に求まっていくというところが数列とちょっと違うところです。



式の導出に関しては以上なのですが、ここまでのお話は、結構いろいろなところで見かけると思います。関連する多くの書籍でも、このことは記載されているようで、理系出身であれば「もう知ってるよ！」という方が多いのではないでしょうか？
ただ私としては、式の途中で微分の記号「ｄＬ/ｄｕ」を「δｕ」とかに書き換えるパターンが、ネットでも書籍でもすごく多くて、読みにくくて大変でした。というわけであえてここに「微分記号だけで書いたもの」を載せさせて頂きました。



以上です。





コメント

コメントを投稿

このブログの人気の投稿

ディープラーニングのお勉強体験記”１７：LSTM数式導出”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードの数式導出 注）2023/8/27　すみません、本文真ん中へんの（*1ｓ）から（*1 e）の部分が数行ほど前にずれていたのを修正しました。いままで見てくれた方、ごめんなさい。 いままでと同じように、コード全体が見えるようになったので、アルゴリズムを追いかけやすくなりました。 ということで、また、いままでと同じように次のステップは「ゼロから作るDeep Learning 2 ―自然言語処理編」P216、第5章「5.5.3　RNNLMの学習コード」を変更したLSTMコードでバックプロパゲーションの数式を導くことにします。 LSTMの構造は となっています。 これをもとにバックプロパゲーション（誤差逆伝搬）の数式を導いていきました。 （いままでと同じで、以下ウェイト:ｗについて書きます、バイアス:ｂは端折っています） スタートの式は と書けるでしょうか、、、、、 で、求めたいのはWｘとＷｈの誤差勾配なので Wxに対しては と導けて、 Whに対しては と導けます。 ほぼほぼRNNの時と同じ感じで、WxとWhに共通したｄL/da・da/duを導ければ誤差逆伝搬が計算できます。そしてこのｄL/da・da/duはRNNよりちょっと複雑で４つあって、具体的には と書かれます。 これは、さらに計算を進めて整理できます。 ｃとｈが と書かれることから、この関係を使って勾配計算をすると となります。 この式を具体的に f，i，g について書くと となります。 得られた式の共通部分を と「ds」を使って表記することにすると と書き直せます。 (*1 s) この変形では、f，i がシグモイド関数、g が tanh() 関数 なので、シグモイド関数の微分がｙ（１－ｙ）の形に、 tanh() 関数の微分が（１－ｙ^2）の形になることを使いました。 (*1 e) 加えて、o については、（o もシグモイド関数なので微分がｙ（１－ｙ）の形なのを使って） と変形できます。 ということで、求めた活性化関数 f，i，g，o の誤差勾配をまとめて書くと、 となります。 これから、もし、ds と dL/dh を求められば、dL/du が得られることが分かります。 もう一度 ds を確認すると なので、結局、dL/...
Read more »

ディープラーニングのお勉強体験記”３０：番外編「XP」の各sin波コード”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作ったWindows XPの各sin波コード 前回「Windows xp」でAnacondaを使えるようにしたと紹介しました。でもって、ここではそこで動く「sin波学習コード」紹介します。わざわざ紹介する内容でもないかもしれませんが、、、、、、 「Jupyter Notebook」を使うということと(普段は「Jupyter Lab」を使ってます)、コードの先頭部分に「%matplotlib inline」を追加する、グラフの表示部分をちょっと書き換えるだけ（１波形１コマンドラインにする）と、簡単ですから、、、、、 でもまあ、一応書かせてもらいます！（簡単なことでも、それなりに苦労はしていますので） 目次 １：xp用のＲＮＮのSIN波コード ２：xp用のＬＳＴＭのSIN波コード ３：xp用のＧＲＵのSIN波コード １：xp用のＲＮＮのSIN波コード # 完成版　Windows xp用　RNNコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # プログラムの動作検証用にSINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') %matplotlib inline import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_r...
Read more »

ディープラーニングのお勉強体験記”１８：LSTMコードと数式”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードと数式の関係 前回、LSTMのバックプロパゲーション（誤差逆伝搬）の式を導きました。なので、続いてLSTMコードと数式の関係を確認していきたいと思います。 で、コードの全体は基本的にRNNと同じ内容なので、確認するのは「class LSTM」「class TimeLSTM」の「def backward(self, ＊＊＊)」に対して行います。 この部分ですね。 「class TimeLSTM」の「layer．backward()」と数式の関係は つまり、「class TimeLSTM」の部分では、（ｌ+１，ｔ）層と（ｌ，ｔ+１）層から誤差勾配をもらって、バックプロパゲーション（誤差逆伝搬）を行うわけですね。 RNNの時にも書きましたが、　”（ｌ+１，ｔ）層”　は、コード的には１層違うタイミングで計算しているので、一旦リストに保存しています、だから「dhs[：，t，：]」と書かれる訳ですね。（　” RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ ”　を参照してください） で、「Layer．backward」の中身は、下記なのですが、一部、数式を分けて表記しているので、ちょっと繋げて書くと、 とします。 でもって、コードと数式の対応は と と になります。 記号がまあまあ対応しているので、分かりやすいかなと思います。 で、この４つの勾配にそれぞれ、Wx、Whを掛け算することで、（ｌ－１）や（ｔ－１）の層にｄL/dh誤差勾配を伝播していくことができます。 こういう感じですね。（Σ記号は省略していますが、、、、、） （ｌー１）層、（ｔー１）層、（ｌ）層、（ｔ）層、（ｌ+１）層、（ｔ+１）層などごちゃごちゃ出てきてややこしいですよね。 アルゴリズムと計算（数式）では多少違いがあって、これが話をややこしくしています。なので、　” RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ ”　を見て頂くと少しは理解に役立つかも知れません。 以上です。
Read more »