[新製品・サービス]
NEC、ベクトルスパコンでHadoop/Sparkデータ解析を100倍高速に、Hortonworksと共同開発
2018年10月15日(月)日川 佳三（IT Leaders編集部）
NECと米Hortonworksは2018年10月15日、NECのスーパーコンピュータ「SX-Aurora TSUBASA」を使い、ビッグデータを高速に分析するシステム基盤を共同で開発すると発表した。Sparkを使用した機械学習アプリケーションが従来システム比で最大100倍高速に動作するとしている。
NECと米Hortonworksの2社は、幅広い業種や分野でビックデータを高速かつ高度に分析するためのシステム基盤を2018年度中に開発することで協業している。共同開発の成果は、オープンソースとして公開を予定しており、各種の環境や業種ごとのユースケースで利用できるようにする。
共同開発の内容は大きく2つある。1つは、NECのスーパーコンピュータであるSX-Aurora TSUBASAを、Hadoop/Spark領域での代表的なリソース管理/分散アプリケーション管理基盤「YARN」に対応させる。YARNは、Hadoop/Spark環境で、各ジョブへのリソース（CPUやメモリーなど）の割り付けやスケジュールを管理する基盤である。
これにより、Hadoop/Sparkを用いたデータ解析アプリケーションをSX-Aurora TSUBASA上で管理できるようになる。YARNを用いた一般的なシステムでは、従来と同等の解析を最大で99％少ないサーバーリソースで実行できるとしている。
共同開発のもう1つの内容は、NECが開発したソフトで、ベクトル型コンピュータに適した機械学習向けデータ処理ミドルウェア「Frovedis（フロベディス）」を、Sparkに組み込むことである。
これにより、Sparkを使った機械学習アプリケーションが、従来のサーバー比で最大100倍高速に動作するとしている。通常のSparkと同様の管理環境で、機械学習用ライブラリ「MLlib」などを活用したアプリケーションを高速に実行できるようになるとしている。
なお、SX-Aurora TSUBASAは、NECのベクトル型スーパーコンピュータ「SXシリーズ」の最新機種である。最大の特徴は、ベクトルプロセッサとメモリーを搭載したベクトル演算ユニット「ベクトルエンジン」を、PCI Express接続型の拡張カードの形状とし、汎用のx86サーバーに搭載して動作するようにしたことである。
SX-Aurora TSUBASA上ではOSとしてLinuxが動作する。ユーザーから見れば、Linuxが動作する通常のx86サーバーとして使える。アプリケーションも、x86向けに書いたコードをそのまま利用できる。付属する専用のコンパイラ（Fortran、C、C++）を使って再コンパイルするだけで、ベクトルエンジン上で動作するアプリケーションを得られる。
