[Sponsored]

[データマネジメント2020]

2020年4月17日(金)

コピーのみに頼ったデータ統合・活用の課題

　なぜ今、データ仮想化が注目されているのだろうか。2018年に企業で作られたデータ量は33兆ギガバイト、2023年にはその3倍以上の103兆ギガバイトになると予測されている。そのうちの85％がコピーデータだ。一方、それらのデータがどう使われているかというと、例えばAIのインプットに使われているのはわずか1％にすぎない。分析に視野を広げても、活用は21％にとどまっている。60％の組織がデータの品質や複雑さといった課題に直面しているのが現実だ。

　NTTコム オンライン・マーケティング・ソリューションでエバンジェリストを務める嶋田 貴夫氏は、「以前はデータウェアハウスにデータをためてレポーティングができればよかったのですが、現在はデータソースとユーザーニーズの双方の急速な拡大が進んでいます。例えばIoTのセンサーデータも大量のログとして入ってきます。データそのものを新しいサービスに転換するケースも増えてきました」と話す。

こうしたデータ管理と活用におけるチャレンジに資するのがデータ仮想化なのだ。

　嶋田氏は、データ仮想化が求められる背景にある「従来型のデータ活用における6つの問題点」として下記を挙げた。

1. 最新データがリアルタイムで利用できないこと。常にバッチ処理およびその連携処理の終了を待つ必要がある。
2. 新しいデータソース/データマートをすぐに利用できないこと。ETL処理開発やデータアクセス権限の設定にも手間がかかる。
3. 複数バージョンのデータがコピーで生成される結果、正しいデータがどれか解らなくなってしまうこと。必要なデータをユーザー側で結合・作成して保存し、それを共有してしまっているのだ。
4. 分析精度を高めるためのサマライズされていないデータが活用できないこと。
5. データアクセス管理が十分にできないこと。ETL、データレイク、データマート等の複数システムに対して、途中で結合処理されるようなデータの細かなアクセス権限管理が必要となるのが原因だ。
6. データマートに利用者が不明な「謎のテーブル」が多数乱立していること。「とりあえずつくってみた」「すでに利用されていない」といったテーブルが放置されており、削除可否を誰も判断できなくなる。

TIBCO Data Virtualizationによるデータ仮想化の3+1ステップ

　データ仮想化を実現する具体的なソリューションとして同社が提供しているのが、「TIBCO Data Virtualization」だ。

　企業のデータソースは、マスターデータやRDBMS、データウェアハウス、データレイク、パッケージ/SaaS、Excelシート、テキストファイル、Webサービス、IoTデータなど、オンプレミスからクラウドへと拡大。一方でデータ利用者が用いる手段もBIツール、統計解析ツール、各種アプリケーション、AIなど多様化している。

　TIBCO Data Virtualizationは、このデータソースとデータ利用者の間を結ぶデータレイヤーを提供するのである。

　「TIBCO Data Virtualizationはデータ利用者からリクエストを受けた段階ではじめてクエリーを分解し、データソースに問い合わせをかけて取得し、集めたデータを結合・加工してリアルタイムに返します。このデータレイヤーでは基本的にデータのコピーを一切持ちません。また、データアクセスも一極化するため、アクセス権の制御やログの監視もすべてここで対応することができます」と嶋田氏は説明する。

　さらに、このデータレイヤーは下記の3+1のステップの設定で提供が可能となる。

• Source Layer
• Business Layer
• Application Layer
• 公開

　Source Layerは、アダプタを介して、あらゆるデータをTIBCO Data Virtualizationにおける仮想的な共通テーブルとして扱えるようにし、データソースの形式やロケーションを隠蔽するための設定。「PostgreSQLの顧客マスター、Excelファイルの顧客ランク、BigQueryのWeb行動ログといったデータを、アダプタを介するだけで仮想的なテーブルとして取り扱うことができます」と嶋田氏は語る。なお、TIBCO Data Virtualizationには最初から100以上のアダプタが用意されており、データ統合をすぐに始めることができるという。

　Business Layerの設定ではデータモデルを整理し、ビジネス共通のView（新たなテーブル）を作成する。具体的にはSource Layerで定義した仮想テーブルの関連付けを行い、データを利用するための基本的なViewを作成する。

　さらに、Application Layerの設定で、Business LayerのViewを元に、データの結合や不要な個人情報の削除等を行い、利用者やアプリケーションごとに最適なViewを用意する。

　そして、最終的に利用者やアプリケーションからのViewアクセスを許可し、公開となる仕組みだ。公開方法としては、データベースオブジェクト（ODBC、JDBC、ADO.NET）、Webサービス（WSDL/SOAP on JMS、HTTP）、REST（CREATE、READ、UPDATE、DELETE）、OData（Open Data Protocol）、JSONなど標準的なプロトコルをサポートしており、「主なツールに即時に対応することができます」と嶋田氏は語る。また、公開するデータを仮想的なデータベースとして複数定義することが可能で、要求に応じてステージング用、サンドボックス用、本番用などを用意することができる。

　「これにより、データ利用者の要求に基づいて、エンジニアがデータの統合活用の設定を分単位で済ませ、利用者がそれを確認する、といったアジャイルなデータ活用が可能になる。データ利用者は準備作業を極力なくし、すべての正しいデータがここにあるという安心感を得て、データを活用することができます」（嶋田氏）

ビジネス志向のデータ活用をトータルに支援していく

　とはいえ、データのコピーをまったく持つことなく、データレイヤーに直接アクセスすることに対して、パフォーマンスは大丈夫なのかという疑問は残るところだ。「当然、それらの課題に対するソリューションも用意しています」と嶋田氏は強調する。

　TIBCO Data Virtualizationには、オプティマイザーやキャッシュ、クラスタ構成、クエリー分散処理などの機能が搭載されており、パフォーマンスを最適化するという。また、セキュリティについても、ポリシーに基づいた認証/認可および暗号化の適用が可能だ。

　そのほか嶋田氏は、公開データを探すためのデータカタログサービスであるビジネスディレクトリ、管理機能を集約したマネージャ、TIBCO Data Virtualizationの利用状況を可視化するモニター、リソース移行やキャッシュ設定などを行うデプロイマネージャなどの機能も紹介。「IT側の都合に左右されることなく、アジャイルで柔軟、すぐに使用可能なビジネス志向のデータ活用を、エンタープライズグレードで実現します」と語る。

　NTTコム オンライン・マーケティング・ソリューションはTIBCO Software Inc.の国内総代理店として、さまざまなパートナーと共にデータ仮想化のみならず、強力なアナリティクス機能をもつデータ解析「TIBCO Spotfire」やマスターデータ管理ソリューション「TIBCO EBX」なども含めて、お客様の持つデータ資産の活用をトータルに支援していくと強調し、セッションを締めくくった。

---

●お問い合わせ先

NTTコム オンライン・マーケティング・ソリューション株式会社
〒141-0032
品川区大崎一丁目５番１号　大崎センタービル4F
URL：https://www.nttcoms.com/service/TIBCO/
Email：info-tibco@nttcoms.com