[新製品・サービス]
Snowflake上で動作するデータ処理プログラムをJava/Scala/Pythonで開発可能に
2021年11月17日(水)日川 佳三(IT Leaders編集部)
Snowflakeは2021年11月17日、クラウド型データウェアハウス(DWH)サービス「Snowflake」の新機能「Snowpark for Python」を発表した。Snowflake上で動作するアプリケーションを使い慣れた開発言語で開発できる「Snowpark」を拡張し、JavaとScalaに加えて、新たにPythonを利用できるようにする。現在はプライベートプレビュー版を提供中である。
「Snowflake(スノーフレイク)」は、米Snowflakeが開発したクラウド型データウェアハウス(DWH)サービスである。AWS(東京リージョンを含む)、Microsoft Azure、Google Cloudの各クラウドサービスを稼働基盤にして利用する。
Snowflakeのアーキテクチャ上の特徴は、データを格納するストレージと、DWHのクエリーを実行するサーバー(仮想ウェアハウス)を、独立したリソースとして分離している点にある。データをストレージで一元管理しながら、個々のアプリケーション単位でDWHを構築でき、負荷状況に合わせてサーバーとストレージのそれぞれを独立して拡張することができる。(関連記事:クラウドDWH「Snowflake」に開発者向けの新機能、SQL Web APIやJavaユーザー定義関数など)。
Snowflake上で動作するアプリケーションを使い慣れた開発言語で開発できる開発環境「Snowpark」を用意している。今回、これまでのJavaおよびScalaを用いたアプリケーション開発環境に、Pythonでアプリケーションを開発できるようにする「Snowpark for Python」を追加する。現在はプライベートプレビュー版を提供中である。
また、Pythonディストリビューションの1つで各種ライブラリを包含したAnacondaとの協業を開始している。これにより、Pythonで利用する各種のライブラリの手作業でのインストールや依存関係の管理が不要になった。
今回、SnowparkがPythonに対応したことで、利用するプログラミング言語が異なる複数のユーザーが同じデータを利用して共同作業を行えるようになる。データをPythonなど各言語で処理する際、Snowflake上のデータを外部にコピーしたり移動したりする必要がなくなる。