東京証券取引所は、新たなデータ利活用基盤の運用を開始した。日本取引所グループ（JPX）のデータ管理を標準化し、帳票作成や取引手数料計算といったバックオフィス業務を効率化する。データの収集や分析を行う基盤ミドルウェアとして、日立製作所の「Pentaho」や米Clouderaの「Cloudera Enterprise Data Hub」を活用している。日立とClouderaが2020年3月12日に発表した。
東京証券取引所は、1日あたり数千万件以上、多い日には1億件以上の取引を処理している。今後の取引量の増大に向けて、データ処理を高速化する需要や、データの利活用が可能な環境を整備する需要が高まっていた。将来的にクラウドサービスを活用する可能性などを踏まえつつ、新たなデータ活用基盤を構築した。
取引データなど各種データから帳票を作成するシステムや、個々の取引・決済ごとに発生する手数料を計算するシステムをデータ活用基盤に集約した。今後、日本取引所グループの共通基盤として、取引データを複数の角度で分析・レポート化するシステムなどへと順次拡張していく。
データ活用基盤は、データの統合や帳票作成を行う「Pentaho Data Integration」と、見える化や分析を行う「Pentaho Business Analytics」、さらに「Cloudera Enterprise Data Hub」を活用し、東証システムサービスが構築した（図1）。既存システムの処理プログラムを流用しながら、短期間で開発したとしている。
図1：新データ利活用基盤の概要（出典：日立製作所、Cloudera）拡大画像表示
Pentahoを使って、これまで帳票作成や取引手数料計算といった各種業務システムごとに分散していたデータを集約し、データ統合処理を標準化した。これにより、データ分析プロセスの中でも特に時間と工数がかかる「データ準備作業」を効率化するとともに、異なるシステム間のデータの相互参照が容易になった。また、Clouderaの並列分散処理とSQLエンジンのImpalaでバッチ処理を高速化し、処理時間を短縮した。
