ビッグデータの分散処理基盤として知られるApache Hadoopの、バッチ処理やリアルタイム処理、高度な分析のためのフレームワークとして注目されているApache Spark。そのSparkのディストリビューターであるClouderaが2016年11月8日、同社の大規模システム向け製品「Cloudera Enterprise」を、日本マイクロソフトのクラウド基盤「Microsoft Azure」に対応させたことを発表した。
Apache Sparkは、Hadoopで汎用的に用いられているMapReduceでは対応していないオンメモリーに対応し、高速処理を可能にしたバッチ処理のためのフレームワーク。ClouderaはSparkのトップディストリビューターとなっている(関連記事:ポストHadoopと呼ばれる「Apache Spark」にブレークの兆し)。
Taneja Groupの調査によると、HortonworksやDatabricks、本家のApacheからのダウンロードを抑えて、ClouderaのSparkを使用しているSparkユーザーが57%に達している。また、現在使われているSparkの23%がクラウド上にあり、これは将来36%まで拡大すると予想されている(図)。
拡大画像表示
Clouderaは、大企業が利用するCloudera Enterpriseのクラウド化を推進するため、日本マイクロソフトのMicrosoft Azureに対応させることにした。具体的には、サーバーやデータベースを準備、管理、撤去するために必要なインターフェース機能を集約した管理ツールのCloudera Director 2.1をMicrosoft Azurreに対応させた。Hadoopのクラウド化を支援する。
今回は、大企業ユーザーが対象のCloudera Enterpriseをクラウドに対応させることから、堅牢性や事業継続性、実績、日本の法律への準拠などの理由からAzureをクラウドプラットフォームに選んだとしている。
カントリー・マネージャーの田村研三郎氏は、Cloudera EnterpriseとMicrosoft Azureを組み合わせたHadoopソリューションの普及を加速させるため、パートナー戦略の強化を進めていくとしている。その第一弾として、ClouderaとAzure双方に豊富な導入実績を持つ共通のパートナーである日立ソリューションズと共同で実証実験を行う予定だ。