東芝情報システムは2022年3月1日、エンジニアリングサービス「DNN高速化サービス」を提供開始した。ユーザーが使っているDNN（ディープニューラルネットワーク）モデルを、精度を維持しながら処理を高速化する。DNNモデル、学習データ、精度評価指標などをユーザーから預かり、目標の処理性能・推論精度を満たすDNNモデルを提供する。
東芝情報システムの「DNN高速化サービス」は、ユーザーが使うDNN（ディープニューラルネットワーク）モデルを、精度を維持しながら処理を高速化するエンジニアリングサービスである。DNNモデルと学習データ、精度についての評価指標などをユーザーから預かり、目標の処理性能・推論精度を満たすDNNモデルを作成して提供する（図1）。
図1：DNN高速化サービスの特徴（出典：東芝情報システム）拡大画像表示
サービス提供の背景について同社は、DNNを用いたマシンラーニング（機械学習）の活用が進む中、高速化・軽量化と推論精度を両立させることが難しいことを挙げる。「DNNの計算量は大きいため、組み込みシステムのハードウェアスペックの都合で、DNNモデルを高速化・軽量化しなければならないケースがある。一般的には、高速化・軽量化に合わせて推論の精度が低下してしまう」という。
推論の精度を維持したまま高速化する仕組みとして、ユーザーから預かったDNNモデルから複数の修正モデルを作成し、目標の処理性能・推論精度を満たす最適モデルを探索する。推論精度への影響が少なく処理性能を向上させた修正モデルを作成した上で、それぞれの修正モデルについて、実際に処理性能を測定し、推論精度を評価する。こうして、ユーザーの要望に最も適したDNNモデルを提供する。
従来手法と比べて短期間でDNNモデルを高速化する。処理性能を向上させる見込みのある修正モデルを大量に自動生成する仕組みで実現している。修正モデルに対して性能予測や精度予測を実施し、目標達成が見込まれる修正モデルを自動で選別し、選別された修正モデルについてだけ、処理性能の測定と推論精度の詳細評価を実施する。
1.5カ月で性能を5倍に改善した事例として、東芝情報システムの「CVNucleus MonocularVisionソフトウェアライブラリ」に適用した例を挙げている。同ライブラリは、レンズによる画像のボケの形状と距離の相関を学習し、1台のカメラで距離を計測する技術。「今回のサービスを適用する前の処理性能は566ミリ秒で、リアルタイム処理とは言い難かった。今回のサービスを適用することにより、推論精度を維持したまま、処理性能を約5倍の113ミリ秒に短縮し、リアルタイム処理を実現した。適用にかかった期間は1.5カ月だった」(同社）。
