[Sponsored]

[データマネジメント2024]

2024年4月15日(月)

　データ活用が進む中でのデータ品質の向上に向け、改めて注目を集めているのがマスターデータ連携だ。「商品」「取引先」「仕入先」などが代表例だが、管理運用において何より大切なのは一貫性と正当性の確保だ。

　各マスターデータを組み合わせることで、一連の業務での「いつ」「どこで」「誰が」「何を」「なぜ」「どのように」という5W1Hを、部門の壁を超えて把握／表現することが理屈の上では可能だが、一貫性と正当性を欠いては異なる意味を生じさせかねず、各種分析の精度低下も免れない。

　「歴史を振り返ると、仕様は技術的にニュートラルである一方で、実装方法は時代のIT環境に大きく依存してきた」と説明するのは、ノーチラス・テクノロジーズ 代表取締役会長の神林飛志氏である。

　事実、マスターデータ連携技術を見ると、汎用機時代にはファイルベースでのバッチ処理やジョブ連携で、オープン環境時代にはRDBによるトランザクション管理やロックベースでの処理。そして、クラウドが一般的に利用される現在は、マイクロサービス環境下でのメッセージベースの非同期連携へと変化を遂げている。

　そして今、「マスターデータ連携の実装方法の転換を迫る技術的な大波が押し寄せている」と神林氏。それが、NTTのIOWN（Innovative Optical and Wireless Network）構想に代表されるネットワークの光化だ。従来からも電話線の光化は進められてきたが、今回の光化はWANとLAN、さらに端末内のデバイス間のやり取りも含めた、あらゆるデータ転送の光化を目指す点で一線を画す。

方向性は非同期とロックフリー、楽観ロック

　IOWN構想では既存の光回線に対して「伝送容量が125倍」「エンド・ツー・エンド遅延が200分の1」などの開発目標が掲げられている。

「通信速度は10Tbpsまで高速化し、通信遅延も10マイクロ秒まで低減する。そこで課題になるのがOSI参照モデルの7階層のうち、データリンク層とネットワーク層がボトルネックになること。高速通信のためにそれらを省いた通信が議論になっており、必然的に将来的な通信プロトコルはTCP/IPではなくなる」（神林氏）

　高速・低遅延の環境下では、100km先にあるサーバーと、手元のサーバーへのメモリアクセスの違いが分からないほどアクセスが高速化する。そこでのリモートメモリーアクセスのプロトコルには、一貫性確保のための仕組みが不可欠となり、実装手法は現段階においてCXL（Compute Express Link）が最有力と見られている。

　こうした時代の到来を見据え、ノーチラス・テクノロジーズが今後のシステムの技術的な方向性として示しているのが、光ネットワークで複数DCを結び、分散トランザクションと分散レプリケーションにより1つのデータベースとして機能させるDaaD（Datacenters As A Database）だ。光の通信速度から接続先DCは遅延がマイクロ秒レベルを担保できる100km圏内に限定されるが、国内では関東一帯や関西一帯など大半の都市がその圏内に収まる（図1）。

　神林氏が、その中でのマスターデータ連携の技術的な実装手法として推奨するのが、従前とは真逆の非同期とロックフリー、楽観ロックの思想を基本とするDB連携だ。

　「同期してロックするやり方が間違っているわけではないが、楽観主義を採れば低遅延であるためリトライもそれだけ容易になる。現在のDB製品も7割から8割は非同期、ロックフリーの手法が採用されている」（神林氏）

最新技術を集約した国産RDB「Tsurugi」の実力

　神林氏によると、マスターデータ管理の実装技術としては近い将来、光による超高速、低遅延の環境下での非同期、ロックフリーと楽観ロックを基本とするDB連携が有力になるという。その観点から今、とあるRDBがにわかに注目を集めている。それが、政府の支援を受けつつ、各大学研究機関やNEC、ノーチラス・テクノロジーズが協力して開発し、5年がかりでリリースにこぎつけたOSSの「Tsurugi（劔）」だ（図2）。

　特徴としてまず挙げられるのが、データ処理量に応じて柔軟なスケールが可能な、インメモリとメニーコアを最大限生かした、現在のハードウェア環境に合致するモダンなアーキテクチャだ。

　また、非同期、ロックフリーによってWrite処理に強いRDBであることも挙げられる。「バッチがそれだけ高速に完了し、MVCC（MultiVersion Concurrency Control：多版型同時実行制御）での制御を通じて、バッチとオンラインの並行処理も問題なく行える」と神林氏は語る。

通常1週間かかるバッチ処理が1時間半で完了

　その性能の一端は、Tsurugiを用いた3億件のレコードを持つ製品マスターDBのバッチ処理とオンライン処理の単独・混在での実行処理のベンチマークからも見て取れる。このバッチ処理では木構造のトラバースを全製品に対して行い、オンライン処理では、新商品の追加などのマスタ構造自体の変更や、全件集計のオンラインバッチ処理を行っている（図3）。

　「通常ではバッチ処理だけで1週間はかかりますが、Tsurugiではわずか1時間半で完了する。かつ、並行してオンライン処理で負荷をかけても、処理時間は10％程度の増加で済んだ。バッチ処理中にオンライン処理が入っても、落ちることは一切ない。もっともこの程度であれば最新技術に基づくRDBであればどれでも可能で、Tsurugiの“肝”は、MVCCなどの膨大な技術の活用にある」（神林氏）

マスター連携のリアルタイム処理がもたらす価値とは

　神林氏によると、大手金融機関ではすでに光化を前提とする分散トランザクション処理を基本とした勘定系システムの整備プロジェクトが立ち上がっており、今後のマスターデータ連携の実装技術の移行はこのことからも間違いないという。その中での対応に向け、神林氏は次のようにアドバイスする。

　「今後、技術が成熟することで実装技術の取り込み自体のハードルは確実に下がる。そこでの一番の変化は、マスターデータ連携がリアルタイム処理になる点だが、そこで『新たなことができる』と考えるのか、あるいは『ユーザーが困ってないのでリアルタイムでなくていい』と考えるのかによって、マスターデータ連携が生む価値は大いに変わる。それを念頭に、今からリアルタイム処理の可能性を探るべきなのは明らかだ」（神林氏）

---

●お問い合わせ先

株式会社ノーチラス・テクノロジーズ
https://www.nautilus-technologies.com/