三菱電機は2016年2月3日、IoT(Internet of Things:モノのインターネット)システム向けの基盤として、センサーから得た大量のデータを高速に蓄積、検索、集計する「高性能センサーデータベース」を開発したと発表した。社会インフラの維持管理、工場などの稼働状況監視、ビルなどのエネルギー管理といった分野でセンサーデータの迅速な活用が可能になる。
「高性能センサーデータベース」は、安価なハードウェア構成で、100兆件のセンサーデータを効率的に蓄積するとともに、それらのデータを高速に検索、集計する。道路や鉄道など社会インフラ設備の維持管理での劣化箇所の検出、工場やプラントの稼働状況の分析による製品品質の向上や劣化診断、ビルや住宅の電力消費量の見える化による省電力など、様々な分野で活用できる。
100兆件は、レーザーセンサーなどで得られた道路、鉄道周辺構造物約20万km分の3次元計測データのデータ量、あるいは工場やプラントで10万個のセンサーから100ミリ秒間隔で計測される3年分のデータ量に相当する。
従来、このような大規模データを高速処理するためには、多数のサーバーを使った並列分散処理や、大容量主メモリーを利用したインメモリー処理、フラッシュメモリーを利用した高速ストレージの利用など、コストの掛かる方法を採る必要があった。
高性能データベースは、安価なハードウェア構成で利用できるのが特徴で、センサーデータベースを、1~2個のCPU、主メモリー4ギガバイトのサーバー1台上に構築しても、高速処理が可能だ。センサーデータの蓄積、検索・集計処理をサーバー1~数台に集約することで、運用の容易化や省電力化を図れる。
三菱電機はデータ圧縮方式、データ配置、データ処理単位の最適化機能を新たに開発、一般のリレーショナルデータベースと比べ、データ蓄積に要する容量、時間を10分の1から最大1000分の1に削減可能となった(性能差は同社調べ)。具体的には、センサーデータ100兆件を扱う場合、従来のデータベースでは、蓄積に要する容量は約950TB、蓄積時間は約430分、検索・集計時間は約1700秒を必要とするが、今回の製品ではそれぞれ、約15TB、約8.8分、約2秒に低減する(図1)。
拡大画像表示
データ圧縮方式は、700通り以上の圧縮パターンの組み合わせからサイズが最小になるものを選択して圧縮、蓄積することで最適化を図った。データ配置は、サイズが異なる最大100万の圧縮データをストレージブロック内に取り出しやすく並べることで、検索・集計時のストレージアクセス回数を削減可能にした。データ処理単位は、小容量であるが高速アクセス可能なキャッシュメモリー内でデータを処理し、検索・集計時の並列処理性能を向上させた(図2)。
拡大画像表示
小規模な構成で利用開始後、データ量の増加に応じてサーバーを最大256台まで追加可能となっている。データ移行やアプリケーションソフトウェアを変更することなく、ストレージ容量の拡張と処理速度の向上を図れる。