プロジェクト画面:データセットタブの使い方

Friday, November 03, 2017

App

Posted by Yoshiyuki Kobayashi

 

データセットタブでは、ニューラルネットワークの学習に用いるデータセットの指定と、確認を行います。

 

1 学習、評価に用いるデータセットのCSVファイルを指定するには

  1. データセットリストで、CSVファイルを指定するデータセットを選択します。デフォルトで用意されているTrainingは学習に用いるデータセット、Validationは評価に用いるデータセットを示します。
  2. データセット指定ボタンをクリックします。表示されるデータセット一覧からデータセットを選択します。

 

2 データセットの内容を確認するには

  1. データセットリストで、内容を確認するデータセットを選択します。
  2. データセットビューワ部で、データセットの内容を確認します。データセットビューワ部には、指定されたデータセットの内容が表の形式で表示されます。

 

ご参考

画像ファイル名が指定されたセルには画像のプレビューが、データCSVファイルのファイル名が指定されたセルには行列データのグラフ(縦軸を値、横軸を行とした、列ごとに色の異なる折れ線)がそれぞれ表示されます。画像の場合は全体が、データCSVの場合は、248行、10列までのデータが表示されます。データCSVファイルに含まれる数値が-1.0~1.0の範囲を超えている場合はOverloadのメッセージが表示されます。

 

3 1 epochの長さの決定に用いるデータセットを指定するには

  1. データセットリストで、1 epochの長さの決定に用いるデータセットを選択します。
  2. Mainをクリックしてチェックします。

 

ご参考

1 epochで学習に用いられるデータ数はMainに指定したデータセットを元に決定されます。例えばデータ数10000のデータセットAと30000のデータセットBが学習に用いられ、BをMainデータセットに指定した場合、30000のデータを学習した時点で1 epochと数えます。この設定においてデータセットAは1 epochの学習中に3回繰り返し使用されます。

 

4 データセットを実行時にシャッフルするには

  1. データセットリストで、シャッフルするデータセットを選択します。
  2. Shuffleをクリックしてチェックします。

 

ご注意

シャッフルは、新しいEpochの学習が始まる度に100データ毎に作成されるキャッシュファイル単位、および1つのキャッシュファイル内の100データの間でそれぞれ行われます。

 

Evaluationボタンを用いた評価に用いるデータセットはシャッフルの指定をしないようにしてください。Evaluationボタンでの評価時は、CSVファイルのデータ順とキャッシュファイルのデータ順が同一に保たれている必要があります。

 

5 既に作られたデータセットのキャッシュを再利用し、学習開始までの時間を短縮するには

  1. データセットリストで、キャッシュを再利用するデータセットを選択します。
  2. Enable Dataset Cacheをクリックしてチェックします。

 

ご注意

Enable Dataset Cacheがチェックされており、かつデータセットのキャッシュが存在する状態では、常にキャッシュを利用します。従ってデータセットの内容が更新されていたとしても、キャッシュを更新することなく既存のキャッシュを利用します。データセットの内容を更新した際キャッシュの内容を更新するには、一旦Enable Dataset Cacheをオフにして学習を実行します。

 

6 データセットに含まれる画像データについて、ニューラルネットワーク入力前に輝度値を1/255倍して入力値を0.0~1.0に正規化するには

  1. データセットリストで、画像の輝度値を正規化するデータセットを選択します。
  2. Image Normalization(1.0/255.0)をクリックしてチェックします。

 

ご参考

Image NormalizationはCPUで処理されます。大きいサイズの画像データを扱う場合、Image NormalizationはOFFにし、代わりにGPU処理可能なMulScalarレイヤーを用いて1/255倍処理を行うようにすることで(Valueプロパティに1/255=0.0039215686…を設定)学習のパフォーマンスを改善できることがあります。

 

7 新しいデータセットを追加するには

メニューボタン、もしくはデータセットリストを右クリックして表示されるポップアップメニューからAddを選択します。

 

8 データセットの名前を変更するには

  1. メニューボタン、もしくはデータセットリストを右クリックして表示されるポップアップメニューからRenameを選択します。
  2. もしくはデータセットリストから、名前を変更するデータセットを2度クリックします。
  3. 新しい名前を入力してキーボードのEnterキーを押します。

 

9 データセットを削除するには

  1. データセットリストで、削除するデータセットを選択します。
  2. メニューボタン、もしくはデータセットリストを右クリックして表示されるポップアップメニューからDeleteを選択します。
  3. もしくは、キーボードのDeleteキーを押します。

 

10 データセットを並び替えるには

  1. データセットリストで、並び替えるデータセットを選択します。
  2. メニューボタン、、もしくはデータセットリストを右クリックして表示されるポップアップメニューからMove Up(上に移動)もしくはMove Down(下に移動)を選択します。

 

11 データセットビューワの特定のセルを選択するには

選択対象のセルをクリックします。

もしくは、キーボードのカーソルキー、PgUpキー、PgDnキー、Homeキー、Endキー、マウスホイール(マウスホイールのみの操作で縦方向、Shiftキーを押しながらの操作で横方向)を用いてデータセットビューワのカーソルを移動します。

 

12 データセットビューワの表示範囲を移動するには

データセットビューワ右、データセットビューワ下のスクロールバーをドラッグします。

もしくは、キーボードのカーソルキー、PgUpキー、PgDnキー、Homeキー、Endキー、マウスホイール(マウスホイールのみの操作で縦方向、Shiftキーを押しながらの操作で横方向)を用いてデータセットビューワのカーソルを画面外まで移動します。

 

ご参考

データセットの縦、横がそれぞれ1画面に収まる場合、それぞれ縦、横スクロールバーは表示されません。

 

13 データセット内の画像など特定のファイルを外部アプリで開くには

ファイル名の書かれたセルをダブルクリックします。

もしくは、ファイル名の書かれたセルを右クリックして表示されるポップアップメニューからOpenを選択します。

もしくは、ファイル名の書かれたセルを選択し、キーボードのEnterキーを押します。

 

14 データセット内の画像など特定のファイルのあるフォルダを開くには

ファイル名の書かれたセルを右クリックして表示されるポップアップメニューからOpen File Locationを選択します。

 

15 データセットのCSVファイルを別名で保存するには

データセットビューワを右クリックして表示されるポップアップメニューからSave CSV as…を選択します。

 

16 データセットの整合性を確認するには

データセットビューワを右クリックして表示されるポップアップメニューからCheck Consistencyを選択します。

 

学習、評価、それぞれのデータセットで、ファイル名、変数の数、各変数のサイズなどが正しく設定されているかについてのチェックが行われます。不整合がある場合はエラー箇所と共に不整合の内容が表示されます。