FBP Partnersは2019年4月5日、各種のデータソースから抽出したデータをデータウェアハウス(DWH)に反映するクラウドサービス「Fivetran」を発表、同年4月15日から提供開始する。開発会社は米Fivetranで、データソースの変更を検知してDWHを同期させられる。
Fivetranは、データソースから抽出したデータをデータウェアハウス(DWH)に反映するためのデータ反映ミドルウェアである。SaaS型クラウドサービスとして提供する。データの反映先となるDWHとして、Google BigQuery、Amazon Redshift、Snowflakeなどのクラウドサービスを利用できる。
データソースは、100種類を超えるコネクタを介してアクセスする。Salesforce.comなどのSaaSアプリケーションや、Oracle DatabaseやPostgreSQLなどのデータベース管理システム(DBMS)、Webhooksなどのイベント、CSV(カンマ区切り形式)ファイルなどのデータを取り込める。
Fivetranは、簡単に使い始められるとしている。初期設定は、最短で5分、最長でも60分程度で完了するとしている。
特徴の1つは、データソース側で何らかのデータが変更された際に、これを自動的に検知し、DWHのデータを修正・同期できることである。通常、これらの処理を実現するには、エンジニアがプログラムを書く必要があった。Fivetranの導入によって、これまでデータの変更・更新ごとに実施していたメンテナンスが不要になるとしている。
また、Fivetranでは、ETL(データソースからのデータ抽出、データ変換、DWHへのロード)という一般的な手順ではなく、変換とロードの順番を変えたELT(抽出、ロード、変換)のプロセスができるとアピールする(図1)。抽出したデータをそのままDWHに登録することで、絶え間なく変化するデータソースに適応したデータパイプラインを構築できるとしている。
拡大画像表示
ELTのプロセスを実践できる背景についてFBP Partnersは、Amazon Redshiftなどのクラウド型DWHの普及によって、DWHのコストが下がったことを挙げる。ストレージの容量に配慮する必要がなくなった、としている。