国内外のHadoop導入事例─地道な情報収集いとわず課題解決に挑む企業が続々登場

急拡大するHadoop経済圏 Part3

2012年3月13日(火)緒方啓吾（IT Leaders編集部）

リスト

大規模データを蓄積・処理する機会が多いWeb系企業から先行していたHadoopの導入事例だが、周辺技術の拡充やノウハウ情報の流通といったエコシステムが形成されて業種にも幅が出てきている。 Part3では国内外のユーザー企業の導入事例をまとめた。

緒方啓吾（編集部）

「現在の日本国内の状況は2年前の米国によく似ている」と指摘するのは米クラウデラのジュセッペ・小林氏。「米国でも通信キャリアやWeb系企業が先行したが、最近は金融系や流通・小売系にも浸透してきている」（同）という。

以下では、国内における先行ユーザーの活用事例としてリクルートとクックパッドの取り組みを紹介する。表3-1には国内外のユーザー企業の取り組みを一覧にまとめた。

表3-1　Hadoopを活用する企業の一例（公表資料などをもとに編集部が独自作成）

リクルート
Hadoopカンファレンスに赴き5年後も生き残る技術と確信

住宅情報サイト「SUUMO」や旅行サイト「じゃらん」など20を超えるWebサービスでHadoopを活用するリクルート。バッチ処理やWebログの解析、レコメンデーション、広告コストの最適化など用途は多岐にわたる。

同社がHadoopに出会ったのは3年前のことだ。データ量の増加に伴う夜間バッチ（用途の詳細は後述）の遅延が急迫した課題となっていた。事態を打開すべく並列分散型DWHやメモリーグリッドなどの選択肢を検討する中で、最終的に白羽の矢を立てた。「コストパフォーマンスだけでなく、周辺コンポーネントを活用すれば自分たちのスキルセットで十分に運用できる点もポイントだった」（米谷修エグゼクティブマネジャー）。

とはいえ不安要素もあった。Hadoopはオープンソースの技術で持続的に提供されるとは限らない。システム設計の根幹に関わるだけに判断は慎重にならざるをえない。ここで米谷氏の背中を押したのは、米クラウデラがニューヨークで開催したHadoopのカンファレンスだった。「参加者やスポンサーの数に圧倒された。導入事例も増えているし、ユーザー企業が運用するHadoopクラスタの台数も右肩上がりで伸びているという。これは間違いなく生き残る技術だと確信した」と当時の心境を語る。

リクルートにおけるHadoop活用の最初の取り組みは、2011年6月に実施したクーポン・グルメ情報サイト「HotPepperグルメ」のバッチ処理である。

利用履歴から各ユーザーの関心を引きそうなクーポンや店舗情報を掲載したレコメンドメールを作成するもの。マイニングツールを使った従来のバッチ処理では1週間分のログを10時間かけて分析していたが、Hadoopに刷新後は5時間で約80週間分を処理できるようになった。対象期間の延長に伴いレコメンド可能な人数も8万人から20万人に増加。リンクのクリック率、クーポン利用率ともに1.6倍に増加するなど成果を上げ、以降の全社展開に弾みをつけた。

「ようやくフィジビリティスタディが終わって本格利用に差し掛かったところ。Hadoopの潜在能力を使い倒し、収益に結び付けていくことがこれからの課題だ」（米谷氏）。