[市場動向]

2021年3月31日(水)日川 佳三（IT Leaders編集部）

リスト

　「RaNNC（Rapid Neural Net Connector、ランク）」は、ニューラルネットワークを自動的に分割することによって、複数のGPUを用いた並列学習を容易に実現できる深層学習ミドルウェアである。情報通信研究機構（NICT）データ駆動知能システム研究センターと東京大学情報基盤センターが共同研究を通じて開発した。GitHubで公開している。ライセンスはMITライセンスであり、商用目的を含めて無料で利用できる。

　RaNNCは、Python用の代表的な深層学習ライブラリであるPyTorchのために記述した既存のニューラルネットワークの定義を与えると、実行速度を最適化しつつ、各々のGPUのメモリーに収まるように、自動的にニューラルネットワークを分割する。こうして、複数のGPUを使い、並列に学習を行う（図1）。

図1：大規模ニューラルネットワークの並列学習（出典：情報通信研究機構、東京大学）
拡大画像表示

　ニューラルネットワークを分割するために開発者がニューラルネットワークの定義を書き換える必要がない。このため、大規模なニューラルネットワークを学習しやすくなる。既存ソフトウェア（Megatron-LMやMesh-TensorFlow）と異なり、適用できるニューラルネットワークの種類に制約がない。

　NICTの計算機環境における既存ソフトウェアとの比較実験では、RaNNCはMegatron-LMより約5倍の規模のニューラルネットワークを学習できる一方、同一規模のニューラルネットワークでは、ほぼ同等の学習速度を実現している。

　NICTデータ駆動知能システム研究センターでは、これまで収集してきた高品質な日本語テキスト約350GBを学習データとし、RaNNCを用いて、BERTを約50億パラメータ（原論文の15倍）に大規模化したニューラルネットワークを学習している。

●Next：ニューラルネットワーク学習時の課題を解決─RaNNCを開発した背景