モデルAPI公開機能 – Docs - Neural Network Console

Monday, July 27, 2020

•Neural Network Consoleで作成した学習済みモデルをAPIで公開する機能を追加しました(下図②)。これによりユーザは推論の実行をAPI経由で行うことが可能になります。

•APIは特定のユーザやグループ内での利用に絞ることを想定し、APIキーを利用したアクセス制限を設けています。

用途に応じた2つのメニューを提供します。

	リクエスト数課金タイプ	インスタンス占有タイプ
概要	・APIのリクエストに応じて、都度CPUインスタンスを起動させます。・以下のような軽量のモデルで利用可能です。・30秒以内に推論処理が可能なモデル・パラメータが64MB以下のモデル	・ユーザ任意の時間でCPUもしくはGPUのインスタンスを起動させます・予約起動/停止が可能です。
利用シーン	・軽量のモデルの実行を安価に利用したい。	・GPUで高速に処理したい。・インスタンスを常時起動させておきたい。・30秒以内に処理が終了しないモデル、64MBを超えるパラメータのモデルで利用したい。
メニュー・料金	・～500 リクエスト/API：無料・～100,000リクエスト/API：3,000円/月 ※10万リクエスト以上はインスタンス占有タイプを選択するかこちらから個別相談ください。	・CPUインスタンス：85円/時間・GPUインスタンス :560円/時間

以下は弊社内で実施したパフォーマンステストの結果です。
なおネットワーク遅延などの影響を受けないようにAPIゲートウェイ間で測定しています。

・リクエスト数課金タイプ

・Input：24×24のモノクロ画像(mnist)
・NW：LeNet(328KB)
・処理時間：約970ミリ秒(1回目)、約240ミリ秒(2回目以降)

※都度インスタンスを起動する仕様のため、1回目の処理と2回目以降の処理で時間が異なります。

・ノード時間課金タイプ(GPU)

・Input：512×512のカラー画像
・NW：U-Net
・処理時間：約4秒

・ノード時間課金タイプ(CPU)

・Input：24×24のモノクロ画像(mnist)
・NW：LeNet(328KB)
・処理時間：約240ミリ秒

こちらのガイドを参照ください。