FBP Partnersは2019年4月5日、各種のデータソースから抽出したデータをデータウェアハウス(DWH)に反映するクラウドサービス「Fivetran」を発表、同年4月15日から提供開始する。開発会社は米Fivetranで、データソースの変更を検知してDWHを同期させられる。
Fivetranは、データソースから抽出したデータをデータウェアハウス(DWH)に反映するためのデータ反映ミドルウェアである。SaaS型クラウドサービスとして提供する。データの反映先となるDWHとして、Google BigQuery、Amazon Redshift、Snowflakeなどのクラウドサービスを利用できる。
データソースは、100種類を超えるコネクタを介してアクセスする。Salesforce.comなどのSaaSアプリケーションや、Oracle DatabaseやPostgreSQLなどのデータベース管理システム(DBMS)、Webhooksなどのイベント、CSV(カンマ区切り形式)ファイルなどのデータを取り込める。
Fivetranは、簡単に使い始められるとしている。初期設定は、最短で5分、最長でも60分程度で完了するとしている。
特徴の1つは、データソース側で何らかのデータが変更された際に、これを自動的に検知し、DWHのデータを修正・同期できることである。通常、これらの処理を実現するには、エンジニアがプログラムを書く必要があった。Fivetranの導入によって、これまでデータの変更・更新ごとに実施していたメンテナンスが不要になるとしている。
また、Fivetranでは、ETL(データソースからのデータ抽出、データ変換、DWHへのロード)という一般的な手順ではなく、変換とロードの順番を変えたELT(抽出、ロード、変換)のプロセスができるとアピールする(図1)。抽出したデータをそのままDWHに登録することで、絶え間なく変化するデータソースに適応したデータパイプラインを構築できるとしている。
図1:古典的なETLプロセスとFivetranのELTプロセスの違い(出典:FBP Partners)拡大画像表示
ELTのプロセスを実践できる背景についてFBP Partnersは、Amazon Redshiftなどのクラウド型DWHの普及によって、DWHのコストが下がったことを挙げる。ストレージの容量に配慮する必要がなくなった、としている。
-
AI時代の“基幹インフラ”へ──NEC・NOT A HOTEL・DeNAが語るZoomを核にしたコミュニケーション変革とAI活用法
-
加速するZoomの進化、エージェント型AIでコミュニケーションの全領域を変革─「Zoom主催リアルイベント Zoomtopia On the Road Japan」レポート
-
14年ぶりに到来したチャンスをどう活かす?企業価値向上とセキュリティ強化・運用効率化をもたらす自社だけの“ドメイン”とは
-
-
-
-
生成AIからAgentic AIへ―HCLSoftware CRO Rajiv Shesh氏に聞く、企業価値創造の課題に応える「X-D-Oフレームワーク」
-
-
-
「プラグアンドゲイン・アプローチ」がプロセス変革のゲームチェンジャー。業務プロセスの持続的な改善を後押しする「SAP Signavio」
-
BPMとプロセスマイニングで継続的なプロセス改善を行う仕組みを構築、NTTデータ イントラマートがすすめる変革のアプローチ
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-



