[Sponsored]
業務系処理の高速化の結果として蓄積されたデータから明日を予測
2014年5月12日(月)
ビッグデータの潮流を受け、高度分析に基づく将来予測に関心を示す企業が増えている。しかし、計画性のないまま闇雲に投資しても、かつてデータウェアハウスに失敗したのと同じ轍を踏む恐れがある。早くからHadoopに着目し、それを使いやすくする「Asakusa Framework」を開発したノーチラス・テクノロジーズが説くのは、業務系処理の高速化から始めるデータ分析だ。
正確なデータをもとに明日を予測する
~ノーチラスが提案する新しい予測の形~
ビッグデータという言葉が流行しているが、今までのデータ分析とどう違うのかと問われても、答は曖昧模糊としている。ビッグデータは幻に過ぎないのだろうか─。ノーチラス・テクノロジーズの代表取締役社長である神林飛志氏は、「ビジネス」「かかわる人間」「 技術」の3つの側面から考える必要があると示唆した。
まずは、ビジネスの側面から見たビッグデータだが、日本で独立した事業として成り立っているのは、ほんの数社しかないのが実情という。「ビッグデータと呼べるサイズを有しているのは、Webのアクセスログ、携帯電話を含めたライフログ、組み込み系のログなどに限られる。すなわち、ビジネスとしては非常に狭い領域だ」(神林氏)。
次に、人から見たビッグデータはどうか。世間で騒がれている割に、名実共に「データサイエンティスト」として活躍している専門家は少ない。その裏には「ビックデータ処理は実は統計には向いていない」という、誰も語らない事実があると指摘する。「バラツキのあるすべてのデータをとらえるのではなく、ある程度、数を絞ったデータを利用してデータすべてを代表させる手法が統計学。全件処理を前提とするビッグデータ的な手法とは、そもそも考え方からしてマッチしない」(神林氏)。
しかし、技術から見たビッグデータは、大きく事情が違う。本当の意味でのビッグデータを扱う領域での競争が激化し、極めて有望な技術が生まれつつあるというのだ。「スケールアウトする仕組み、分散/並列クエリー処理、分散トランザクション、複数データセンター間の整合性確保など、今まで敷居の高かった分散処理技術が、普通に使われるようになった。これは、インフラとしてのクラウド、特にストレージとネットワークコストが著しく低減したことが大きく寄与している」とは神林氏の弁。
普通に使えるようになった分散処理技術でバッチ処理を高速化
同氏は、「いきなりログデータの分析から始めるのではなく、普通に業務系データを利用することから始めるべき」と、現実的なアプローチを説く。
大量のログデータはともかく、大手ならば業務系データの「バッチ処理」を行っていない企業は皆無に近いだろう。そこにHadoop(MapReduce)に代表される分散処理技術を活用し、バッチ処理を高速化するところから入るのである。結果として、今まで以上に大量の業務データが分散クラスター(データプール)に溜まるようになる。その溜まったデータに対して分析を行うわけだ。
分散処理技術が普通に使えるようになった今、経営層を動かすための“突破口”として、ビッグデータというキーワードを活用することができる。
ただし、かつてデータウェアハウスで経験してきた失敗を、繰り返すことは避けなければならない。経営層や業務部門が期待しているのは、統計処理に基づいた確率データではない。そればかり独り歩きさせてしまうと、見込みが外れたときに言い訳ができず、投資コストに見合った効果もなかなか伴わない。重要なのは、より細かい粒度で積み上げた“事実”の分析に基づいた予測なのである。もちろん、分析だけでもだめだ。
「だからこそ、分析もできるし業務処理もできるといったように、様々な用途に使えることが重要。これからは、同じ分散クラスター上で業務処理も分析も行うデータ統合基盤が当たり前になるのではないか」(神林氏)。そうした今後のインフラでは、MapReduceはもとより、それを取り囲むフレームワークも非常に重要となる。そこに向かってノーチラスは、次の製品開発を進めていくという。
問い合わせ先
株式会社ノーチラス・テクノロジーズ
http://www.nautilus-technologies.com/
- データ活用に取り組む企業や自治体の最前線に迫る(2014/05/12)
- 情報アーキテクチャに目を向け、全社を挙げたコラボレーションと業務に沿った情報共有の実現を(2014/05/12)
- データを経営資源として統合管理し最大限に活用するための最適解とは(2014/05/12)
- リアルタイムなビッグデータ活用を実現するSAP HANAテクノロジー(2014/05/12)
- オープンソースでビッグデータ統合を実現、データに基づいた経営でビジネスを変える(2014/05/12)