ディープラーニングのお勉強体験記”３０：番外編「XP」の各sin波コード”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作ったWindows XPの各sin波コード 前回「Windows xp」でAnacondaを使えるようにしたと紹介しました。でもって、ここではそこで動く「sin波学習コード」紹介します。わざわざ紹介する内容でもないかもしれませんが、、、、、、 「Jupyter Notebook」を使うということと(普段は「Jupyter Lab」を使ってます)、コードの先頭部分に「%matplotlib inline」を追加する、グラフの表示部分をちょっと書き換えるだけ（１波形１コマンドラインにする）と、簡単ですから、、、、、 でもまあ、一応書かせてもらいます！（簡単なことでも、それなりに苦労はしていますので） 目次 １：xp用のＲＮＮのSIN波コード ２：xp用のＬＳＴＭのSIN波コード ３：xp用のＧＲＵのSIN波コード １：xp用のＲＮＮのSIN波コード # 完成版　Windows xp用　RNNコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # プログラムの動作検証用にSINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') %matplotlib inline import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_r...
コメントを投稿

ディープラーニングのお勉強体験記”２４：GRUコードと数式”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したGRUコードと数式の関係


前回、GRUのバックプロパゲーション（誤差逆伝搬）の式を導きました。なので、続いてGRUコードと数式の関係を確認していきたいと思います。


で、コードの全体は基本的にRNNと同じ内容なので、確認するのは「class GRU」「class TimeGRU」の「def backward(self, ＊＊＊)」に対して行います。


この部分ですね。

「class TimeGRU」の「layer．backward()」と数式の関係は



つまり、「class TimeGRU」の部分では、（ｌ+１，ｔ）層と（ｌ，ｔ+１）層から誤差勾配をもらって、バックプロパゲーション（誤差逆伝搬）を行うわけですね。

RNNの時にも、LSTMの時も、書きましたが、　”（ｌ+１，ｔ）層”　は、コード的には１層違うタイミングで計算しているので、一旦リストに保存しています、だから「dhs[：，t，：]」と書かれる訳ですね。（　”RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ”　を参照してください）

でもって、コードと数式の対応は（まず、「層方向の式とコード」から確認すると）

コードの開始は「（ｌ+ 1）層」と「（ｔ+ 1）層」から得られた勾配「dL/dh」を「dh_next」に入力するところから始まります。



続いて、「時間方向の式とコード」を確認すると



となります。

ちょっと　”ごちゃごちゃ”　し過ぎですかね、、、、、でも一つ一つ、丁寧にコードと数式を追っかけていけば、コードが数式通りに作られていることを実感できるんじゃないでしょうか、、、、、、、どうでしょう？


RNNやLSTMでも言いましたが、数式とアルゴリズムではちょっと違いがあるので、注意が必要です。
上記はアルゴリズムに対応する式なので、前回のブログで導いた数式と少し異なっています。一応、「アルゴリズムに対応する式」を、下に書いておくと、、、、
「層方向の式」は
で。
「時間方向の式」は

となります。




*****2024年1月5日追記＿開始******
すみません。下の「ちょっと感想」は、「学習」と「推論」を区別して書くべきでした。

私は主として「学習」の場合でコメントしていて、
「LSTMと比較してGRUが遅いと思う」と書きました。
（実際に下の「測定時間」は、「学習と推論」のトータル時間です）

一方、考えてみれば、当たり前ですが、
一般に言われる特徴については、活用時の「推論」単独の場合のことだと思います。
その場合、
「GRUがLSTMと比較して早い」
ということなのですね。

大変失礼いたしました。
*****2024年1月5日追記＿終了******

ちょっと感想

なんか、ゼロつく２のGRU紹介文や、ネットを検索すると、
GRUは、LSTMに対して

”簡易版”　”計算効率化版”　”軽量化版”　”改善版”　”シンプルにしたもの”　”計算量が少なくて済む”　”高速で簡単に実行できる”

などと紹介されていて、

「記憶セルがない」
「ゲートが1つ少ない」

というのが、LSTMと比較したときの特徴とされているようです。

でも、いままでのLSTMとGRUのコードと数式の関係を見てくると、「そうかなあー？」と感じています。実際、このブログに載せているコードを実行して時間を測定すると、

LSTM：１分０９秒
GRU ：１分１５秒

でした。（私のPCで）



また、「詳解ディープラーニング 第2版」
（ちょっとこのブログの第一回目で紹介していないんですけど、、、、、「とりあえず」という感じで買うだけ買っていました。ちゃんと読んでもいないんですけど、、、、、ただ、こんな感じで、「どっかでフレームワークを使ったコードを利用しよう」という魂胆だったんです。）

これから、TensorFlow を使った「sin波の学習コード」を実行したところそれぞれ

「05_sin_lstm_tf__EarlyStopping.py」：４分０１秒
「11_sin_gru_tf__EarlyStopping.py」  ：５分０５秒

という結果になりました。（私のPCで）

この結果からも、別に　”GRU”　は　”LSTM”　を　”軽くしたもの”　ではなく、単に　”LSTMの兄弟”　で、「得意分野が違う」というだけなのでは、、、、？
使い分けについても、単に、LSTM、GRUのどっちかが得意な分野で使えばいいわけですものね。

それに数式展開でもわかると思いますが、GRUは「ゲートが1つ少ない」ですが、代わりに、「活性化関数が入れ子構造」になっていて、「絵的にシンプル」になっていても「計算的には簡単ではない」ように見えます。
実際　”class GRU:”　のコードはLSTMよりも大きいですよね？


個人的にはGRUの方がLSTMより、コードの実行時間が長いのは納得いきますけどねーーーーー。




以上です。



コメント

コメントを投稿

このブログの人気の投稿

ディープラーニングのお勉強体験記”１７：LSTM数式導出”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードの数式導出 注）2023/8/27　すみません、本文真ん中へんの（*1ｓ）から（*1 e）の部分が数行ほど前にずれていたのを修正しました。いままで見てくれた方、ごめんなさい。 いままでと同じように、コード全体が見えるようになったので、アルゴリズムを追いかけやすくなりました。 ということで、また、いままでと同じように次のステップは「ゼロから作るDeep Learning 2 ―自然言語処理編」P216、第5章「5.5.3　RNNLMの学習コード」を変更したLSTMコードでバックプロパゲーションの数式を導くことにします。 LSTMの構造は となっています。 これをもとにバックプロパゲーション（誤差逆伝搬）の数式を導いていきました。 （いままでと同じで、以下ウェイト:ｗについて書きます、バイアス:ｂは端折っています） スタートの式は と書けるでしょうか、、、、、 で、求めたいのはWｘとＷｈの誤差勾配なので Wxに対しては と導けて、 Whに対しては と導けます。 ほぼほぼRNNの時と同じ感じで、WxとWhに共通したｄL/da・da/duを導ければ誤差逆伝搬が計算できます。そしてこのｄL/da・da/duはRNNよりちょっと複雑で４つあって、具体的には と書かれます。 これは、さらに計算を進めて整理できます。 ｃとｈが と書かれることから、この関係を使って勾配計算をすると となります。 この式を具体的に f，i，g について書くと となります。 得られた式の共通部分を と「ds」を使って表記することにすると と書き直せます。 (*1 s) この変形では、f，i がシグモイド関数、g が tanh() 関数 なので、シグモイド関数の微分がｙ（１－ｙ）の形に、 tanh() 関数の微分が（１－ｙ^2）の形になることを使いました。 (*1 e) 加えて、o については、（o もシグモイド関数なので微分がｙ（１－ｙ）の形なのを使って） と変形できます。 ということで、求めた活性化関数 f，i，g，o の誤差勾配をまとめて書くと、 となります。 これから、もし、ds と dL/dh を求められば、dL/du が得られることが分かります。 もう一度 ds を確認すると なので、結局、dL/...
Read more »

ディープラーニングのお勉強体験記”３０：番外編「XP」の各sin波コード”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作ったWindows XPの各sin波コード 前回「Windows xp」でAnacondaを使えるようにしたと紹介しました。でもって、ここではそこで動く「sin波学習コード」紹介します。わざわざ紹介する内容でもないかもしれませんが、、、、、、 「Jupyter Notebook」を使うということと(普段は「Jupyter Lab」を使ってます)、コードの先頭部分に「%matplotlib inline」を追加する、グラフの表示部分をちょっと書き換えるだけ（１波形１コマンドラインにする）と、簡単ですから、、、、、 でもまあ、一応書かせてもらいます！（簡単なことでも、それなりに苦労はしていますので） 目次 １：xp用のＲＮＮのSIN波コード ２：xp用のＬＳＴＭのSIN波コード ３：xp用のＧＲＵのSIN波コード １：xp用のＲＮＮのSIN波コード # 完成版　Windows xp用　RNNコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # プログラムの動作検証用にSINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') %matplotlib inline import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_r...
Read more »

ディープラーニングのお勉強体験記”１８：LSTMコードと数式”（リカレントニューラルネットワーク”RNN”を中心にバックプロパゲーション”BPTT”を数式を使って理解したい！）

イメージ
「ゼロから作るDeep Learning 2 ―自然言語処理編」から変更したLSTMコードと数式の関係 前回、LSTMのバックプロパゲーション（誤差逆伝搬）の式を導きました。なので、続いてLSTMコードと数式の関係を確認していきたいと思います。 で、コードの全体は基本的にRNNと同じ内容なので、確認するのは「class LSTM」「class TimeLSTM」の「def backward(self, ＊＊＊)」に対して行います。 この部分ですね。 「class TimeLSTM」の「layer．backward()」と数式の関係は つまり、「class TimeLSTM」の部分では、（ｌ+１，ｔ）層と（ｌ，ｔ+１）層から誤差勾配をもらって、バックプロパゲーション（誤差逆伝搬）を行うわけですね。 RNNの時にも書きましたが、　”（ｌ+１，ｔ）層”　は、コード的には１層違うタイミングで計算しているので、一旦リストに保存しています、だから「dhs[：，t，：]」と書かれる訳ですね。（　” RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ ”　を参照してください） で、「Layer．backward」の中身は、下記なのですが、一部、数式を分けて表記しているので、ちょっと繋げて書くと、 とします。 でもって、コードと数式の対応は と と になります。 記号がまあまあ対応しているので、分かりやすいかなと思います。 で、この４つの勾配にそれぞれ、Wx、Whを掛け算することで、（ｌ－１）や（ｔ－１）の層にｄL/dh誤差勾配を伝播していくことができます。 こういう感じですね。（Σ記号は省略していますが、、、、、） （ｌー１）層、（ｔー１）層、（ｌ）層、（ｔ）層、（ｌ+１）層、（ｔ+１）層などごちゃごちゃ出てきてややこしいですよね。 アルゴリズムと計算（数式）では多少違いがあって、これが話をややこしくしています。なので、　” RNNバックプロパゲーションの「アルゴリズム」と「数式」の間のちょっとしたギャップ ”　を見て頂くと少しは理解に役立つかも知れません。 以上です。
Read more »