[Sponsored]

ネットワーク効果で価値を高める新コンセプト“データクラウド”と、データプラットフォーム「Snowflake」とは

2021年3月29日(月)

リスト

膨大なデータの分析結果をビジネスの意思決定や課題解決に活用すること、すなわち“データドリブン”を志向することは、今や企業において大きなテーマとなっている。データ分析にまつわるほぼすべてのワークロードに対応するSnowflakeは、企業が抱える課題を高いパフォーマンスで解決する。「データマネジメント2021」のセッションでは、Snowflakeの松下正之氏より、データウェアハウスを進化させた「データクラウド」のアーキテクチャが紹介された。

ネットワーク効果で価値を高めるデータクラウド

米国で2012年に創業したSnowflake社は、「垣根を越えてデータの力を集結させる」というミッションを掲げ、データプラットフォーム「Snowflake」を開発した。2015年に一般提供を開始し、2021年3月時点でユーザー数は世界で4100社を超え、2019年9月の日本進出から、日本国内でも順調にユーザー数を伸ばし続けている。

同社の松下正之氏（シニアセールスエンジニア）は、Snowflakeを「クラウドテクノロジーをベースに構築された超高速でスケーラブルな次世代プラットフォーム」と説明する。1カ所に集積されたデータにユーザーがいつでもだれでもアクセスし、分析結果から意思決定を行えるようにするものだ。様々な分析のワークロードをサポートしており、クラウドベースのためスケーラビリティに富み、マネージドサービスの形で提供するため、データベース管理者（DBA）やインフラ管理者の作業工数を抑え、データ分析に集中できる環境を提供するとしている。

Snowflake株式会社シニアセールスエンジニア松下正之氏

クラウドデータウェアハウスとしてスタートしたSnowflakeは、ユーザーの要望に応え続けることで、様々な分析系のワークロードに適用できるクラウドデータプラットフォームへと進化を遂げ、現在は「データクラウド」と呼ぶ新コンセプトに進化しつつある。

その一番の特徴は、ユーザーのデータプラットフォーム同士をつなげる機能にある。この機能が、ユーザーが増えれば増えるほどフィードバックを得てネットワーク価値を高め、ますますユーザーに便益をもたらす「ネットワーク効果」を実現した。また、その過程で、従来の構造化データだけでなく半構造化データや非構造化データもカバーした「あらゆるデータ」を対象にするとともに、地理的な制約を超えて「あらゆるクラウド」や「あらゆる場所」でのデータ活用を可能にしている。

コンピュートとストレージの分離で高パフォーマンスを実現

Snowflakeは、コンピュートとストレージを完全に分離したアーキテクチャとなっている。中心にストレージがあり、それを囲むように「ウェアハウス」と呼ぶコンピュートリソースがある。さらにマネージドサービスを提供するための様々な機能が周囲を囲む形で存在する。この構成が、リソースの競合なく高いパフォーマンスで同時多数のワークロードの処理を実現する。

Snowflakeのアーキテクチャ

Snowflakeはデータ共有の範囲を広げるための2つの特徴的な機能を持つ。1つは地理的な障壁を取り除く「グローバルデータメッシュ」機能だ。クロスリージョンやクロスクラウドで自社データのレプリケーションやフェールオーバーをしたり、データを共有したりできる。

もう1つは「データシェアリング」機能だ。データの物理コピーを作ることなく安全にデータを共有するもので、下記のような3つのユースケースも紹介した。

自社と特定企業の間を1対1で共有する「ダイレクトシェア」
企業グループ間や部門間でデータ交換する「データエクスチェンジ」
自社データをパブリックに共有してサードパーティのデータとして共有する「データマーケットプレース」

処理パフォーマンスを自在なスケールで最適化

松下氏は、具体的な利用シーンを挙げて、Snowflakeの機能について説明した。Snowflakeのストレージが中央にあり、一般的なETLツールに接続されたETL/ELTウェアハウスが受け取ったデータを処理し、暗号化・圧縮してストレージに格納する。この格納されたデータを使い、今度はSalesウェアハウスに接続されたBIツールが分析をかけると、結果がダッシュボードに表示される。Snowflakeでは、複数のウェアハウスを同時に動かすことができ、リソース競合なしでストレスなくアクセスできる。

Snowflakeのウェアハウスの動きの例
拡大画像表示

また、ウェアハウスは必要に応じて即座に追加して動かすことができる。例えば、ETL/ELTウェアハウスで処理するデータが増えた場合には、即座にリソースサイズをスケールアップして対応可能だ。BIツールのユーザーが増えてシステムが重くなった場合は、接続するウェアハウスを増やしてスケールアウトすることで、増えた実行数に対応することができる。

DBA／インフラ管理者の作業工数を削減する管理・運用機能

Snowflakeの持つ特徴的な運用・管理面の機能についても紹介された。

「タイムトラベル」機能：最大90日の任意の期間を参照したり戻したりすることが可能で、DBAやインフラ管理者がバックアップ／リストアにかける工数を極小化できる
マネージド・サービス：Snowflakeはマネージドサービスのため、データの配置にまつわる設計・管理が不要になる
「クローン」機能：本番環境を使って開発環境やテスト環境を即座に構築できる。クローンを作っても即座にデータ量が2倍にはならず、テスト環境や開発環境で更新した分のデータ量だけが増えていくためデータの格納効率に優れている
半構造化データへの対応：データを専用のデータ型に変換し、Snowflakeがバックグラウンドで中身のエレメントを見て適切に格納する。データが適切に格納されることで、ユーザー側は高速にクエリを開発できる