国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）と沖電気工業（OKI）は2019年9月9日、AIを省電力化する技術として、ディープラーニング（深層学習）のモデルを軽量化する技術を開発したと発表した。ベンチマークの結果、認識精度の劣化を約1％に抑えつつ、演算量を約80％削減できたとしている。
NEDOとOKIは、ディープラーニング（深層学習）のモデルを軽量化する技術を開発した。同技術によって、エッジデバイスなど演算性能や電力消費に制限がある環境に高精度モデルを搭載したり、サーバー環境を省電力化したりできるようになる。IoTアプリケーションに応用可能なAI技術の開発が加速するとしている。
新技術の効果を測定した結果、ベンチマークとして一般的に用いる高精度モデルに適用したところ、認識精度劣化を約1％に抑えながら、積和演算回数と処理時間をそれぞれ約80％削減したとしている。
冗長なチャネルを削減して演算量を削減
ディープラーニングは現在、モデルの軽量化技術が求められている。多層化によって認識性能を高めているため、演算量やパラメータが多く、大量の演算リソースや電力を必要とするからである。車載用途やスマートフォン、組み込みIoTデバイスなどのエッジデバイスが登場する中で、限られた演算リソースでも高性能なモデルを高速・省電力に実行できることが求められている。
軽量化技術としては以前から、チャネル・プルーニングと呼ぶ手法が提案されていた（図1）。これは、モデルの畳み込み層から冗長なチャネルを削減し、チャネルに関連する演算・パラメータ・メモリーを削減する技術である。しかし、チャネル・プルーニングを実現するための従来手法は、削減率の設定を層ごとに行う必要があった。このため、手間がかかる上に、全体として最適な削減にならないという課題があった。
図1：従来のチャネル・プルーニング手法によるチャネルの削減効果（出典：国立研究開発法人新エネルギー・産業技術総合開発機構、沖電気工業）拡大画像表示
NEDOとOKIは今回、OKI独自のチャネル・プルーニング技術であるPCAS（Pruning Channels with Attention Statics）を発展させ、新たなモデル軽量化技術を開発した。
複数経路のチャネルの重要度を全体最適で推定
PCAS技術は、チャネル・プルーニング技術の1つで、チャネルの重要度推定にアテンション・モジュールを導入する（図2）。これにより、認識性能の維持効果を高めつつ、層単位の削減率設定を不要とする。層間に挿入したアテンション・モジュールに後段の層への情報伝播を抑制する構造を持たせ、モデル全体の推論誤差を最小化する学習を経る。こうして、全体最適による重要度推定が可能になる。
図2：アテンションに基づくモデル軽量化技術PCAS（出典：国立研究開発法人新エネルギー・産業技術総合開発機構、沖電気工業）拡大画像表示
今回新たに開発した軽量化手法は、PCAS技術を発展させ、近年の多様な分岐・合流経路を含むモデルに柔軟に対応できるようにした。多様なモデルに対して認識性能を最大限に引き出せるようにしたとしている。
モデル内の分岐経路では、経路ごとに認識性能に寄与する重要なチャネルが異なるため、その差異を吸収する必要がある。そこで、分岐部においては、単一のチャネルに対して複数のアテンション・モジュールを導入することにより、複数経路のチャネルの重要度を全体最適で推定するようにした。さらに、経路ごとに異なるチャネル構成の不一致を整合する仕組みと、学習過程の詳細な分析に基づく誤差伝播量の制御方法を開発した（図3）。
図3：今回開発したモデル軽量化技術（出典：国立研究開発法人新エネルギー・産業技術総合開発機構、沖電気工業）拡大画像表示
