リカレントニューラルネットワーク（RNN　LSTM　GRU）のバックプロパゲーション（BPTT）を数式で理解したい！

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作ったWindows XPの各sin波コード 前回「Windows xp」でAnacondaを使えるようにしたと紹介しました。でもって、ここではそこで動く「sin波学習コード」紹介します。わざわざ紹介する内容でもないかもしれませんが、、、、、、 「Jupyter Notebook」を使うということと(普段は「Jupyter Lab」を使ってます)、コードの先頭部分に「%matplotlib inline」を追加する、グラフの表示部分をちょっと書き換えるだけ（１波形１コマンドラインにする）と、簡単ですから、、、、、 でもまあ、一応書かせてもらいます！（簡単なことでも、それなりに苦労はしていますので） 目次 １：xp用のＲＮＮのSIN波コード ２：xp用のＬＳＴＭのSIN波コード ３：xp用のＧＲＵのSIN波コード １：xp用のＲＮＮのSIN波コード # 完成版　Windows xp用　RNNコード # ゼロから作る Deep Learning２のP216、第5章「5.5.3　RNNLMの学習コード」でコード全体が見えるようにできるだけ「import」を外した # プログラムの動作検証用にSINカーブを学習させるため変更したコード # coding: utf-8 # import sys # sys.path.append('C:\\kojin\\資料\\AI関連\\ゼロから作る Deep Learning\\ゼロから作る Deep Learning2\\deep-learning-from-scratch-2-master\\') %matplotlib inline import matplotlib.pyplot as plt import numpy as np # from common.optimizer import SGD # from dataset import ptb # このimportを有効にするには上記パス設定「sys.path.append('C:\\kojin\\AI関連\\・・・」が必要！ # from simple_r...

「ゼロから作るDeep Learning 2 ―自然言語処理編」のRNNコード、P216、第5章「5.5.3　RNNLMの学習コード」から作った各コードをWindows XPで動かしてみる 私が持っているノートPCの１つに「Dell Inspiron Mini 10」があります。 これです。 もう古くて、メモリは最大で2GBまでしか増やせず、OSもWindows XPです。遅いし、古いし、セキュリティも怪しいので、処分するべきなんでしょうけど、、、、、、、、、（ちなみに、このPCはネットアクセスはできますが、基本的にしていません [このPCのWifiを切っている] 、ダウンロードファイルは別のPCで行って、そこからUSBでコピーするという使い方です。） 愛着があって手放せません、、、、、、 以前、メモリを１GBから２GBに増やして、ストレージもHDからSSDに変えたら、かなり動作速度が改善されました（それでも「遅い」ですけど、、、、、私的にはギリOKなんです！） ということで、まだまだ現役でいて欲しいこのXPマシンで、コードを動かしてみたくなりました。 ネットを検索したところ、このサイトにたどり着きました。以前のバージョンのAnacondaでないとxpマシンでは動作できないようです。（下記サイトを作って頂いた方には感謝！感謝！です） [メモ][Python] AnacondaをWindows xpにインストールしようとすると失敗する ここから 「Anaconda3-2.2.0-Windows-x86.exe」 をダウンロードして、xpのPCにインストールしました。 なお、私がダウンロードしたファイルは ここ にも置いてありますので、こちらからも入手できるようにしておきますね。 これでxpのPCでもPythonが使えるようになりました。 ちなみに、私はAnacondaデビューがわりと最近だったため、いままで「Jupyter Lab」を使ってきました、でも、今回のAnacondaは古いバージョンなので、「Jupyter Notebook」しかありませんでした。というわけで、xpのPCでは「Jupyter Notebook」を使っています。 いままで紹介してきたコードは「ゼロつく」のコードを「いじった」ものですが、フレームワークなどを使っていないせいなのか、古いAnaco...