[新製品・サービス]

2011年2月9日(水)IT Leaders編集部

リスト

構成要素は大きく、以下の通り。（1）上位言語で設計したバッチ処理をHadoopのJavaコードに変換・実行する開発機能（Ashigel Compiler）、（2）MySQLのテーブル情報を元に、Hadoopの入出力データ形式に合わせたデータ・クラスとテスト・データを生成するモジュール（Model Generator）、（3）これらを統合管理する統合テスト・ツール、である。

Ashigel Compilerは、3種類のDSL（目的別の上位言語）で記述したソース・コードを元に、MapReduce処理を実施するJavaソース・コードを自動生成し、JARファイルを生成する。このJARファイルには、DSLで定義した処理ロジックに加えて、Model Generatorが生成した入出力データ形式のJavaクラスと、実行時に必要なAsakusa Frameworkのランタイム環境が含まれる。

開発者が記述するDSLは、3種類ある。（a）「Operator DSL」は、データ処理の最小単位となる演算子を定義・記述する言語。（b）「Flow DSL」は、Operator DSLで定義した演算子を組み合わせてデータ・フロー（データの入力、加工、出力の処理）を記述する言語。（c）「Batch DSL」は、Flow DSLで作成した個々のデータ・フローをジョブとみなし、ジョブを組み合わせて一連のバッチ処理を記述する言語である。

なお、これまで、Hadoopの使い勝手を高める上位層ソフトは、Pig、Hive、Oozieなど、主にDWH/BI分野を対象としたツール群に限られていた。今回のAsakusa Frameworkは、これまで欠けていた基幹バッチ処理向けの上位層を補完する位置付けとなる。ウルシステムズが手がけた実案件では、これまで4時間かかっていたバッチ処理が数分で完了した例があるという。