[新製品・サービス]

ディープラーニングのパラメータを自動調整するライブラリ「Optuna v2.0」、パラメータの重要度を定量評価─PFN

2020年7月29日(水)日川 佳三(IT Leaders編集部)

Preferred Networks(PFN)は2020年7月29日、ディープラーニング(深層学習)のパラメータを自動で調整するライブラリ「Optuna(オプチュナ)」の新バージョン「Optuna v2.0」を公開した。新版では、ハイパーパラメータの重要度を定量的に評価できるようにした。

 Optunaは、ディープラーニングの各種のパラメータを自動で調整するライブラリである(関連記事PFN、ディープラーニングの各種パラメータを自動調整するライブラリ「Optuna v1.0」を公開)。

 アルゴリズムの挙動を制御する各種のパラメータを自動で最適化する。例えば、学習率、バッチサイズ、学習イテレーション数、ニューラルネットワークの層数、チャンネル数、――など、各種のパラメータがある。

 Optunaは、これらパラメータ値の試行錯誤を自動化し、良い性能が出るパラメータ値を自動的に発見する。ディープラーニングのライブラリであるPyTorchやTensorFlowなど、各種のライブラリと一緒に使用できる。

 今回の新版では、最適化対象のアルゴリズムに対する各ハイパーパラメータの重要度を定量的に評価できるようにした(図1)。研究者や開発者は、評価した重要度をもとに、最も影響の大きいハイパーパラメータの調整に集中できる。

図1:MNISTのハイパーパラメータの重要度を評価するOptuna v2.0の画面の例(出典:Preferred Networks)図1:MNISTのハイパーパラメータの重要度を評価するOptuna v2.0の画面の例(出典:Preferred Networks)
拡大画像表示

 見込みのないハイパーパラメータの評価を中断(枝刈り)することによって、最適化を高速化する仕組みも実装した。

 組み合わせて利用できるライブラリも増やした。LightGBMを中心に、MLflow、AllenNLP、TensorBoardなど各種のマシンラーニング(機械学習)ライブラリに対して専用モジュールを用意した。

 ストレージの実装も改善し、最適化処理における入出力性能を高めた。これにより、実験では最適化処理を最大10倍に高速化できた。

関連キーワード

Preferred Networks / Optuna / ディープラーニング

関連記事

Special

-PR-

ディープラーニングのパラメータを自動調整するライブラリ「Optuna v2.0」、パラメータの重要度を定量評価─PFNPreferred Networks(PFN)は2020年7月29日、ディープラーニング(深層学習)のパラメータを自動で調整するライブラリ「Optuna(オプチュナ)」の新バージョン「Optuna v2.0」を公開した。新版では、ハイパーパラメータの重要度を定量的に評価できるようにした。

PAGE TOP