「エンタープライズに必要なのはSQLとの互換性」、IBM版Hadoop「InfoSphere BigInsights」の姿

2014年8月11日(月)五味明子（ITジャーナリスト／IT Leaders編集委員）

リスト

「Hadoopは何でもできる道具だとよく言われる。しかし、何でもできる道具は実際には使いどころに困るものだ。Hadoopも、その自由さゆえの不自由さに縛られている。一部のトップノッチなユーザー中心の利用にとどまっている理由がここにある」−−。2014年 8月7日、日本IBMが開催した報道関係者向け説明会で、同社ソフトウェア事業インフォメーション・マネジメント事業部BigData Technical Salesの一志達也氏は、こう指摘した。そして、こうした現状に対するIBMの回答が、「IBM InfoSphere BigInsights」だという。Hadoop市場に対し、IBMはどんな戦略を掲げているのだろうか。

（3）DB2ベースのSQL互換インタフェース「Big SQL」

Hadoop上でSQLの実行を可能にする"SQL on Hadoop"機能。IBMのRDB製品「DB2」の開発ノウハウを投入し、イチから開発した（図2）。説明会ではBig SQLについて多くの時間を割き、その特徴が強調された

図2：QL互換インタフェースBig SQLはDB2エンジンを元に開発
拡大画像表示

　一志氏は、「難解なMapReduceよりも『使い慣れたSQLを使いたい』『SELECT文で何もかも済ませたい』というユーザーが非常に多い。そしてHadoopによるデータウェアハウス（DWH）的な分析を求める風潮が強くなってきている」と明かす。

RDBユーザーもHadoopユーザーもスキルを活かせる

　SQLの利用やMapReduceプログラミングの簡素化は、Hadoopエコシステムである「Hive」や「Pig」などを使えば可能である。Big SQLも構造的にはHiveとほぼ同じ。だが、ANSI規格のSQL 2011に完全に準拠するほか、次のような強化を図っている。

・アプリケーションの可搬性：周辺環境とのデータ共有、種々のファイルフォーマットのサポート、「Cognos」や「SPSS」といったIBM製分析ツールとの連携
・パフォーマンス：SQLクエリを最適化するリライト、DB2派生のオプティマイザ、複数処理の同時実行に対するスループットの最適化、実行結果のキャッシングなどメモリーの有効活用、Hiveに比較して最大42倍の高速化
・フェデレーション（周辺との連携）：複数データソースを統合するSQLの実行、DB2やNeteezaのIBM製品に加え、TeradataやOracleなどをサポート
・エンタープライズ要件への対応：OS認証、Kerberos、LDAPといった認証形態のサポート、ユーザー個別のセキュリティ、監査、TLSによる通信経路の暗号化

　ANSI SQLに完全準拠したエンジンを開発したことで、「Hiveでは走らないアプリケーションもBig SQLなら確実に動く」（一志氏）とする。既存のシステムを活かし、これまで捨てていたデータもHadoopに格納し、データ分析の幅を拡げていくというのが、IBMのHadoop戦略におけるアプローチだといえる。

　BigInsightsでは、Hiveや「Hbase」など標準的なHadoopエコシステムをそのまま使える。MapReduceでプログラミングすることに支障がないユーザーも取り込めるわけで、「BigInsitsなら、RDBユーザーもHadoopユーザーも、これまでのスキルを活かした分析が可能になる」（一志氏）ことを強調したい考えだ。

機能評価用に無料版BigInsightsを用意

　BigInsightsの利用に際し、IBMは無料版「Quick Start Edition」での機能評価を推奨する。本番環境で使用しないことを条件に、BigInsightsの全機能を利用できる。

　Adaptive MapReduceやBig SQLのほか、OSSの統計処理用言語であるR言語を使いやすくパッケージした「Big R」や、Hadoop用に作成された表計算ツール「BigSheets」も利用可能だ。これらを連携させIBM Hadoopのエコシステムとして試用できる。動作環境は、仮想環境（VMware）かネイティブインストールかが選べる。

　Hadoopのコミュニティでは、YARNやSPARKといったMapReduceの後継技術に注目が集まっている。これらの技術についてはIBMも、コミュニティと協力しながらBigInsightsに取り入れていく方向にあるという。

　一志氏は「Hadoopは本当に良いプロダクト。Hadoop以前は、クラスタデータベースサーバーを動かすのは本当に大変で、かつ非常に高価だった。大規模な並列分散処理をここまで汎用化させたHDFSもMapReduceも本当に素晴らしい。だが、実装やリソース管理方法は少しずつ古くなっていく。MapReduceの思想自体が滅びることはないだろが、さらなる高速性や安定性が求められるのは当然だ。そうしたニーズに対するIBMの回答がBigInsightsだ」と話す。

　SQL互換性を武器に、パフォーマンスとセキュリティの強化を図ったBigInsights。ClouderaやHortonWorksといったHadoopディストリビューションと手を組む大手ベンダーが増える中で、"IBM版Hadoop"が今後、市場にどこまで食い込めるのか注目したい。