[Sponsored]

分散処理のパワーで複雑なデータ処理を高速実行、ビッグデータの活用を加速する！

2019年4月3日(水)

リスト

並列分散処理に特化したSIを主事業とするノーチラス・テクノロジーズは、分散環境上で複雑なバッチ処理を記述し、最適化し、高速実行するフレームワーク「Asakusa Framework」を開発・提供している。同フレームワークを基盤とすることで、時間やデータ量に起因する壁を乗り越えてビッグデータを活用することが可能となる。「データマネジメント2019」のセッションでは、同社の芳賀荘鑑氏が、実際に経営改善に役立てた事例や機械学習で販売予測を行った事例を交えつつ、その方法論を説いた。

Asakusa Frameworkの特長と活用領域

株式会社ノーチラス･テクノロジーズ営業部営業本部長芳賀荘鑑氏

　ノーチラス・テクノロジーズが展開する分散環境用高速バッチアプリケーション開発フレームワーク「Asakusa Framework」とはいかなるものか。同社営業部の営業本部長を務める芳賀荘鑑氏は、次の3つの特徴を紹介した。

　1つ目は「開発容易性」。HadoopやSparkのスキルがなくても分散処理アプリケーションを開発することができる。APIが隠蔽された環境で、DSLベースのソフトウェア部品を組み合わせながらプログラムを作成できるのだ。加えて開発時のテスト、チェック機能も充実している。

　2つ目は「ポータビリティ」。1つのソースからHadoopとSpark、さらにノーチラス・テクノロジーズがFixStars社と共同開発した「Asakusa on M³BP」（エムキューブドビーピー）の3つの環境向けの実行コードを生成する。また、バージョンアップ時の互換性も重視すると共に、オンプレミスでもクラウドでも動作する。

　3つ目は「低学習コスト」。2日間の講習を受講すれば、2週間程度で一通りのプログラムが書けてしまうレベルである。

　「Asakusa Frameworkを活用することで、これまで時間やデータの量的な制約で実現が難しかった分析や集計処理が、分散処理により高速実行できるようになります。例えば月次でしか実行できなかった分析やシミュレーション、確定処理、クレンジング、引当、受発注、在庫管理、予測などを日次や即時で行うことも可能です」と芳賀氏は強調。具体的な活用領域として、基幹バッチ処理高速化モデル、DWHオフローディングモデル、IoT/ビッグデータ蓄積/処理基盤、機械学習モデルなどを示した。

分散処理の活用ケース

データセンターサービスの原価計算システムへの適用

　Asakusa Frameworkは金融業、社会インフラ、製造業、流通業など、さまざまな業界で使われている。その1つとして芳賀氏が紹介したのは、さくらインターネットにおける次のような導入事例である。

　順調な業績を上げているさくらインターネットだが、データ（根拠）に基づく経営判断ができているかとなると、まだ十分とは言えない。どのユーザーやサービスが、どの地域で、どれくらい利益が出ているか、投下した資本は計画通り回収できているかなど、もっとデータ活用を突き詰めていく必要がある。サービス改善、新サービス提供などのユーザーメリットを追及するためにも投資判断基準となるデータが必要だ。

　そこでさくらインターネットは、ユーザー/サービス単位でより詳細に原価を把握できるようにしたいと考えた。

　なかでも特に大きな課題となっていたのが、コスト計算の精度の低さだ。サマリーデータをもとにした計算しか行われておらず、加えてラックやサーバー単位でデータを按分していることから、ユーザー単位や細粒度のサービス単位の個別原価は不透明だ。ログデータの集計結果も有効に生かされていなかった。そもそもコスト計算のルールそのものが未整備だった。顧客単位のサービス設計が原価レベルで明確に設定されておらず、いわゆる個別の原価企画が行えない。現状のコストが細かいレベルでの積み上げでサポートされていないのだ。

　これらの課題を解決すべく、さくらインターネットが行ったのは多層（ツリー）構造のコストモデルの確立である。最上位のインパクトが下位に与える影響を見積もることができるモデルで、「データセンターのコスト構造を分析し、原価計算モデルに反映させたことがポイントです」と芳賀氏は解説した。

　そして、このコストモデルに基づいて実現したのが、各データセンターからIoTの仕組みを通じて収集したログデータを利用した原価計算である。100数十万件に及ぶログデータに対し、すべてのユーザーの通信ログを紐づけていく作業をバッチ処理で実行する。

　この複雑かつ大規模な計算をSparkならびにAsakusa Frameworkで高速化したのだ。「従来型RDBMSで約20時間を要したデータ処理が約10分に短縮され、ほぼリアルタイムの環境でシミュレーションや分析が可能となりました」と芳賀氏は強調した。

IoTデータを利用した原価管理

機械学習による販売予測サービスでも効果を実証

　もう1つ芳賀氏が紹介したのは、マシンラーニング（機械学習）を用いた食品スーパーマーケット向け販売予測サービスにおけるAsakusa Frameworkの導入事例である。

　ここでいう販売予測とは、各店舗において「明日この店で、この天候やコーザルでこの単品・このカテゴリがどのくらい売れるのか？」を過去のデータから推定するものだ。この精度を上げることで、商品ロスを極小化することができる。

　また、ベテラン担当者に属人化しがちな発注業務が経験の浅い担当者でも行えるようになるため人手不足の解決策にも有効である。

販売予測サービスに機械学習を用いたケース

　今回の予測では過去5年分のPOSデータのほか、商品マスタデータ、特売・店舗など関連するマスタデータ、1週間先の販売価格や特売情報、イベントカレンダー、商品コードからカテゴリへのマッピング情報、チラシ配布日などの情報、値引がある場合の値引額の情報、まとめ買いの情報 (成立個数、値引額)などのデータが用いられた。

　1週間先までの販売予測を行うPoC（概念実証）を実施。その際のデータからヨーグルト、牛乳、絹とうふ、うどんなどの商品の予測結果が示されたが、結果として概ね誤差10％以内に収まる精度を確認すると共に、日々の変動や周期性も捉えられていた。

　これらの導入事例から得られた成果を踏まえつつ、芳賀氏は「データ量、時間的制約、処理の複雑さから従来は困難だったデータ分析処理の高速化を、Asakusa Frameworkなら分散処理のパワーを簡単に引出して実現することができます」と訴求した。