NTTドコモが自社のデータ分析基盤に「Google BigQuery」を導入した。オンプレミスとAWS(Amazon Web Services)で構成していた既存のデータ分析基盤にBigQueryを追加し、2021年7月から本格稼働を開始している。現在、高い処理性能を要求するユースケースなどユーザークエリーの6~7割をBigQueryが捌いている。同年9月7日、グーグル・クラウド・ジャパンが開催した説明会で取り組みを紹介した。
NTTドコモがクラウド活用について、2日にわたって自社の取り組みの詳細を披露している。AWSの運用/コスト最適化の取り組みに続いて(関連記事:NTTドコモが取り組んだAWSコスト削減、必要なリソースを必要な時だけ使用)、今回はデータ分析基盤に「Google BigQuery」を導入した取り組みを紹介した。
NTTドコモは2014年から、社内のデータ分析に向けて「IDAP」(Integrated Data Analytics Platform)と呼ぶ内製のビッグデータ分析基盤を運営している(図1)。
ビッグデータ分析基盤は、オンプレミスとクラウドのハイブリッド構成をとる。データウェアハウス(DWH)は125台の「Amazon Redshift」で開始し、データの増加に応じてシステムを拡張している。現在ではGoogle Cloudとも接続し、Amazon Redshiftに加えてGoogle BigQueryも導入し、分析基盤の強化をはたしている。
拡大画像表示
同社でIDAPを利用する分析担当者は2500人に及ぶ。データ加工処理の対象となるデータ量は1日あたり50TB以上。分析者が分析可能な総データ量は5PB以上で、DWHとしてBigQueryに2PB以上、Redshiftに3PB以上を格納している(図2)。分析対象のビッグデータは、通信事業のネットワーク系データやスマートライフ事業のサービス系データだという。
拡大画像表示
BigQueryは2020年10月に小規模導入を始め、2021年7月から本格的に利用を開始した。その導入にあたりデータ分析のユースケースを見直したところ、BigQueryに移行することで性能が向上するケースが多かったため、現在ではユーザークエリーの6~7割をBigQueryが捌いている。
以前より同社では、サービスの稼働環境としてAWSの利用が進んでおり、DWHに収集する前のデータソースの多くはAWS上にある。このため、データの収集や加工、およびユーザークエリーの一部(約3割)はAWS上で処理している。「分析したいデータのすべてをBigQueryに転送すると転送コストがかかるので、大規模な読み取りや結合処理など移行によって得られるメリットが大きいユーザークエリーをBigQueryに任せている」(同社)という。
●Next:NTTドコモがBigQueryを導入したきっかけと評価、導入効果は?
会員登録(無料)が必要です
- 1
- 2
- 次へ >