本日、Neural Network Console Windowsをアップデートいたしました。
本Blogでは主なバージョンアップ点についてご紹介します。
・Wavファイルへの直接対応
・より快適な試行錯誤を実現する数々の改善
・その他各種プラグイン、レイヤー、ソルバの追加など
1. Wavファイルへの直接対応
従来は一度CSVファイルなどにコンバートして読み込む必要があったWavファイルですが、今回画像ファイルと同様にして、データセットCSVファイル内のセルで直接Wavファイルを指定しての読み込みが可能になりました。
CSVファイル内で指定したWavファイルは、Neural Network Console内においてサンプル数xCh数の行列として読み込まれます。読み込んだWavファイルは、DATASETタブ内で波形の形で内容を確認することができます。
現在は8bitもしくは16bit、PCMフォーマットのWavファイルの読み込みに対応しています。
本機能により、音声など波形を扱う実験がより手軽に実施可能になりました。
2. より快適な試行錯誤を実現する数々の改善
ユーザの皆様より寄せられた多数のご要望に対応する、数々の機能改善を実施しました。
レイヤーの検索・置換機能
検索はEDITタブ、上部の検索ボックスに文字列を入力することで、レイヤーの種類とレイヤー名から、レイヤーを検索できるようになりました。インクリメンタルサーチ、次を検索（ショートカット：F3）、前を検索（ショートカット：Shift+F3）などに対応しています。
また、右クリックメニュー、Replaceを選択することで、特定の種類のレイヤーを別のレイヤーに置換することが可能になりました。置換対象は全てのネットワーク、現在表示中のネットワーク、選択範囲の3つから選ぶことができます。
レイヤーの複製機能
ショートカットキー：Ctrl+D、あるいはAlt+ドラッグにより、選択中のレイヤーを簡単に複製できるようになりました。
自動評価実行機能
CONFIGタブ、Global Config、Auto Evaluationをチェックしておくことで、学習完了後即座に評価計算が実行されます。学習したモデルすべてに対して評価を行うような場合に、学習したモデルを1つ1つ選択して評価を実行する手間を削減できます。
学習条件の確認機能
CONFIGタブの設定項目（Batch Size、Updaterなど）について、Overviewにてネットワーク構造と同じように簡単に過去の履歴を辿りながら確認できるようになりました。学習結果のCONFIGを確認するには、Overview右上の”＜”ボタンをクリックして、Overviewの内容をCONFIGに切り替えます。
3. その他各種プラグイン、レイヤー、ソルバの追加など
CSV、Wavファイルの各種表示切替に対応
これまでの列ごとの波形表示（先頭128行、10列まで）に加え、全波形の縮小表示、ヒートマップ表示とその転地の全4種類の表示方法に対応しました。
プロパティの視認性の確認
デフォルトから編集されたプロパティは太字で、数式などが設定されているプロパティは青字で表示されるようになりました。
推論用ネットワークへの自動編集機能
Settingカテゴリに追加されたTestNetworkレイヤーをネットワークに追加するだけで、ネットワーク内のSkipAtTestがTrueに設定されたレイヤーのスキップする、BatchNormalizationのBatchStatプロパティーをFalseにするなどのテストネットワーク用設定変更が可能になりました（設定変更は学習実行時に反映されます）。
学習結果へのコメント機能
学習結果の右クリックメニュー、Commentより、学習結果に簡単なコメントを追加することが可能になりました。どのような試行錯誤を行ったのかなどについてメモを残す用途などに利用できます。
各種レイヤー・ソルバの追加
3つ以上の入力の加算、乗算を行うAddN、MulNレイヤー、逆行列を求めるBatchInvレイヤー、NaN、Infの判定やリセットを行うIsInf、IsNaN、ResetInf、ResetNaNレイヤーがそれぞれ追加になりました。ソルバとしてはMomentum Sgd、Adamの改良手法であるAdamW、SgdW（※1）、大規模分散学習向けLars（※2）が追加になりました。
プラグインの追加
データセットCSVファイル内の2つの変数から散布図を描画するScatter Plotプラグイン、高次元データの次元圧縮を行うt-SNE（※3）プラグインが追加されています。
(MNISTデータセットのt-SNE結果をさらにScatte Plotで散布図を描画したもの)
Neural Network Consoleは今後も改善を継続していきます。
今後の適切な機能追加のため、引き続きユーザの皆さんからのご意見ご要望をお待ちしています！
Neural Network Console Windows
https://dl.sony.com/ja/app/
※1
Decoupled Weight Decay Regularization
Ilya Loshchilov, Frank Hutter
https://arxiv.org/abs/1711.05101
※2
Large Batch Training of Convolutional Networks
Yang You, Igor Gitman, Boris Ginsburg
https://arxiv.org/abs/1708.03888
※3
Visualizing Data using t-SNE
Laurens van der Maaten, Geoffrey Hinton
http://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf
