IoT（Internet of Things：モノのインターネット）が現在、注目キーワードであることは間違いない。だが、それと引き替えに、ビッグデータの分析・活用が、どこかへ行ってしまうとしたら問題だろう。IoTとビッグデータは表裏一体の関係にあり、それはモバイルなども同じ。ITで経営や事業に貢献するにはビッグデータの分析・活用が必須だ。では、ビッグデータの分析・活用にどう取り組めばいいのか−−。こうした問いかけに答えようと、データ専門企業のランドスケープが2015年4月下旬、米Googleのエンジニアを含む著名な専門家を招いて“ビッグデータ分析の今”を伝えるセミナーを開催した。
次が分析とビジュアル化。問（仮説）を立て、データを分析して何らかのパターンを見つける。「人間の脳はコンピュータに比べ、パターンを認識する能力に優れる。試行錯誤的な分析とビジュアル化は、だからとても大事だ」。
ビジュアル化に関してはGoogle独自のツールではなく、Tableauなど市販のアジャイルBIツールを活用する。「統計処理のPandas、機械学習のScikit.learnなどOSS（Open Source Software）のツールも使っている。いいものは何でも取り入れるのが我々の基本スタンスだ」。
図5：サッカーゲームのモデル化で重要な特徴と考えた要素拡大画像表示
この段階で、データ収集時のエラーや、データそのもののエラーなどが明らかになるケースがあった。「データが多くなればなるほど、そういった要素、つまりノイズが紛れ込み、パターンを曖昧にしてしまう」。地味な作業だが、ここをおろそかにすると、いい結果は望めないという。
それを乗り越えたら、いよいよ予測だ。「データから発見したパターンを使ってモデルを作成し、新しいデータでモデルをトレーニングする」。当初、サッカーでは攻撃のパス、パワープレイ、ホームかアウェイか、期待ゴール数、コーナーキックの数、セーブ率などが、モデルで重要な特徴（仮説）だと判断していた（図5）。
16戦中14戦を的中できる確率は10％未満
図6：Googleがモデル作成に利用したロジスティック回帰拡大画像表示
しかしコーナーキック数とセーブ率は重要でないことが明らかになった。「そこで、これらを外してモデルを作成した。我々はディープラーニングではなく、ロジスティック回帰を採用した。何を使うにせよ、トライを繰り返す試行錯誤が重要である」。先進的な印象があるディープラーニングが必ずしも優れるわけではない、というところがポイントである（図6）。
図7：Googleが見いだした「サッカーの勝敗はポワソン分布に従う」というモデル拡大画像表示
こうして得たモデルは、「サッカーの勝敗はポワソン分布に従う」というもの。偶然性に左右されるので、予測できるのは70％程度が限界というのが理論値だという（図7）。16戦中14戦を的中する確率は10％未満という計算になるので、Googleの予測はかなり高精度だったことになる。
そして結論。ビッグデータによるサッカー・ワールドカップの勝敗予測から得たのは、5つのステップの難易度は一様ではなく、差があること。当然のことに思えるが、「データを分析することよりも生データを分析可能にする加工の方が難しい」「予測することよりも何を学んだかを理解する方が難しい」といった指摘は、データ分析の奥深さを感じさせる。地道な事前の作業なしには、優れた成果は得られないのだ。
