プラグインの使い方

Thursday, May 13, 2021

Uncategorized

Posted by miyamoto

1.プラグインの使い方

プラグインは評価タブで、プラグインを適用したい画像にカーソルを合わせ右クリック → Plugins → 適用したいプラグインを選択することでご利用いただけます。

2.クラウド版で利用できるプラグイン

・Grad-CAM
・LIME
・Cross Tabulation
・Grad-CAM(batch)
・Parameter Stats
・Tile Images
・t-SNE
・Scatter plot

■Grad-CAMについて

Grad-CAMの概要

画像分類を行うConvolutional Neural Networksにおいて、分類結果に影響を及ぼす入力画像の箇所を可視化します。

Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra
https://arxiv.org/abs/1610.02391

 

model Grad-CAMの演算に用いるConvolutional Neural Networksのモデルファイル(*.nnp)を指定します
評価タブで選択中の学習結果を元にGrad-CAMを行うには、デフォルトのresults.nnpを使用します
image 分析を行う画像ファイルを指定します。
評価タブの評価結果で表示されている特定の画像に対してGrad-CAMを行うには、画像ファイル名の係れたセルが選択された状態でプラグインを起動することで、imageに画像ファイル名が自動入力されます
class_index 可視化を行うクラスのIndexを指定します
デフォルトでは0番目のクラスに対する可視化を実行します
output 可視化結果を出力する画像ファイルのファイル名を指定します
評価タブの評価結果からGrad-CAMを実行した場合、学習結果フォルダに指定したファイル名で可視化結果が保存されます


Grad-CAM画面

■LIMEについて

LIMEの概要

LIMEと呼ばれる手法を用い、画像分類を行うモデルにおいて、分類結果に影響を及ぼす入力画像の箇所を可視化します。

Why Should I Trust You? : Explaining the Predictions of Any Classifier Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin
https://arxiv.org/abs/1602.04938

model LIMEの演算に用いるモデルファイル(*.nnp)を指定します
評価タブで選択中の学習結果を元にLIMEを行うには、デフォルトのresults.nnpを使用します
image 分析を行う画像ファイルを指定します。
評価タブの評価結果で表示されている特定の画像に対してLIMEを行うには、画像ファイル名の係れたセルが選択された状態でプラグインを起動することで、imageに画像ファイル名が自動入力されます
class_index 可視化を行うクラスのIndexを指定します
デフォルトでは0番目のクラスに対する可視化を実行します
num_samples 入力画像と認識結果の関係をサンプリングする回数を指定します
num_segments 入力画像を分割するセグメントの数を指定します
num_segments_2 num_segmentsに分割された領域のうち、可視化するセグメントの数を指定します
output 可視化結果を出力する画像ファイルのファイル名を指定します
評価タブの評価結果からLIMEを実行した場合、学習結果フォルダに指定したファイル名で可視化結果が保存されます


LIME画面

 

■Cross Tabulationについて

Cross Tabulationの概要

データセットCSVフォーマットのファイルに対するクロス分析を行います。ラベル毎のデータ数の集計、精度の算出などに用いることができます。

input 処理対象のデータセットCSVファイルを指定します
評価タブの出力結果から評価結果のCSVファイルに対するクロス分析を行うには、デフォルトのoutput_result.csvを使用します
variable1 クロス分析結果の表の行に使用する変数名を指定します
variable2 クロス分析結果の表の列に使用する変数名を指定します
variable2_eval Variable2で指定した変数に対し精度評価を行った結果(正解/不正解)をクロス分析結果の表の列に使用する場合、variable2との比較に利用する変数名を指定します
例えば、画像分類における正解ラベル「y」と、ニューラルネットワークによる推定結果「y’」を比較した結果をクロス分析結果の表の列とするには、variable2に「y」、variable2_evalに「y’」を指定します
空白を指定するとクロス分析結果の表の列にはvariable2で指定した値がそのまま用いられます
output_in_ratio 行ごとに対して1になるような割合を出力するかどうかを指定します
チェックを行わなかった場合はデータ数がそのまま各セルの値として出力されます。
output クロス分析結果を出力するCSVファイルのファイル名を指定します
評価タブの出力結果からクロス集計を実行した場合、学習結果フォルダに指定したファイル名でクロス集計結果が保存されます


Cross Tabulation画面

 

■Grad-CAM(batch)について

Grad-CAM(batch)の概要

画像分類を行うConvolutional Neural Networksにおいて、分類結果に影響を及ぼす入力画像の箇所を可視化します。
Grad-CAMプラグインが1枚の画像に対して処理を行うのに対し、Grad-CAM(batch)プラグインは指定するデータセットに含まれる複数枚の画像に一括して処理を行います。

Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam,
Devi Parikh, Dhruv Batra
https://arxiv.org/abs/1610.02391

input Grad-CAM処理を行う対象の画像ファイル一覧を含むデータセットCSVファイルを指定します
評価タブの出力結果に含まれる画像データに対しGrad-CAM処理を行うには、デフォルトのoutput_result.csvを使用します
model Grad-CAMの演算に用いるConvolutional Neural Networksのモデルファイル(*.nnp)を指定します
評価タブで選択中の学習結果を元にGrad-CAMを行うには、デフォルトのresults.nnpを使用します
input_variable inputで指定したデータセットCSVファイルに含まれる変数より、Grad-CAM処理対象の画像の変数名を指定します
label_variable inputで指定したデータセットCSVファイルに含まれる変数より、可視化を行うクラスのIndexの変数名を指定します
output 可視化結果を出力するデータセットCSVファイルのファイル名を指定します
評価タブの評価結果からGrad-CAMを実行した場合、学習結果フォルダに指定したファイル名で可視化結果が保存されます


Grad-CAM(batch)画面

 

■Parameter Statsについて

Parameter Statsの概要

学習済みモデルに含まれるパラメータの各種統計値(サイズ、最大値、最小値、絶対値の最大値、絶対値の最小値、絶対値、平均、標準偏差)を算出します。

model 統計値を算出するモデルファイル(*.nnp)を指定します
評価タブで選択中の学習結果を元に統計値を算出するには、デフォルトのresults.nnpを使用します
output 統計値を出力するCSVファイルのファイル名を指定します
評価タブの評価結果からParameter Statsを実行した場合、学習結果フォルダに指定したファイル名で統計値をまとめた表が保存されます


Parameter Stats画面

■Tile Imagesについて

Tile Imagesの特徴

入力CSVファイルに含まれる画像をタイル状に並べた画像を作成します。誤って分類した画像を一覧で表示する用途などに利用することができます。

input 画像ファイル名の含まれるデータセットCSVファイルを指定します
評価タブの出力結果に含まれる画像を並べた画像を作成するには、デフォルトのoutput_result.csvを使用します
誤って分類した画像など、出力結果を絞り込んだ結果を元に処理を行うには、一旦右クリックメニューから絞り込み結果をCSVファイルとして保存し、保存したCSVファイルのファイル名をinputに指定します
variable inputで指定したデータセットCSVファイルに含まれる変数のうち、並べる画像の含まれる変数名を指定します
指定しない場合、inputで指定したCSVファイルにファイル名が含まれる全ての画像が処理対象になります
image_width 入力画像1枚の幅を指定します。指定しない場合は最初の1枚の画像の幅が用いられます
入力画像のサイズがimage_widthで指定したサイズと異なる場合、画像の横幅はimage_widthで指定した値にリサイズされます
image_height 入力画像1枚の高さを指定します。指定しない場合は最初の1枚の画像の高さが用いられます
入力画像のサイズがimage_heightで指定したサイズと異なる場合、画像の横幅はimage_heightで指定した値にリサイズされます
num_column 画像を並べる列数を指定します
出力画像の横幅の最大値は、image_width × num_columnになります
start_index 並べて表示する最初のデータのIndexを指定します
end_index 並べて表示する最後のデータのIndexを指定します
end_index – start_index + 1枚の画像が並べて表示されます
end_indexを指定しない場合、inputで指定したCSVファイルに含まれる全てのデータに含まれる画像が表示対象になります
output タイル画像を出力する画像ファイルのファイル名を指定します
評価タブの評価結果からTile Imagesを実行した場合、学習結果フォルダに指定したファイル名でタイル画像が保存されます


Tile Images画面

■t-SNEについて

t-SNE概要

データセットCSVファイルに含まれる指定した変数のt-SNEを計算します。

Visualizing Data using t-SNE

  1. van der Maaten, G. Hinton.

http://jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf

input t-SNEの演算を行う変数の含まれるデータセットCSVファイルを指定します
variable t-SNEの演算を行う変数名を指定します
dim t-SNEの次元数を指定します
output

 

inputのデータセットCSVファイルにt-SNE結果の列を追加したデータセットCSVファイルを出力するCSVファイルのファイル名を指定します

評価タブの評価結果からt-SNEを実行した場合、学習結果フォルダに指定したファイル名で保存されます


t-SNE画面

 

■Scatter plotについて

Scatter plot概要

x、y、cの3つの変数を使って、3次元の散布図を描画します。
xとyは各データ点を2次元のどの座標にプロットするかを決めるもの、cは色を決めるものです。

input 散布図の描画に用いるデータセットCSV ファイルを指定します。
評価タブの出力結果に基づき散布図を描画するには、デフォルトのoutput_result.csv を使用します。
x inputで指定したデータセット CSV ファイルに含まれる変数のうち、散布図の X 軸に使用する変数名を指定します。
y inputで指定したデータセット CSV ファイルに含まれる変数のうち、散布図の Y 軸に使用する変数名を指定します。
c inputで指定したデータセット CSV ファイルに含まれる変数のうち、散布図のカラーラベルに使用する変数名を指定します。
width 描画する散布図の横幅をピクセル単位で指定します。
height 描画する散布図の縦幅をピクセル単位で指定します。
output 出力するhtmlファイル名を指定します。

 

Scatter plot画面