日立造船（本社：大阪府大阪市）は、IoTデータの分析基盤として、米Databricks（日本法人：データブリックス・ジャパン）のデータ分析プラットフォーム「レイクハウス・プラットフォーム」を導入した。これにより、大規模データの分析やナレッジの共有など、従来のデータ分析基盤が抱えていた課題を解消した。導入を支援したメソドロジックが2021年4月27日に発表した。
日立造船は、主力事業であるゴミ焼却発電施設において、遠隔監視や運転支援サービスなどに取り組んでいる。2018年には、遠隔監視、IoT、ビッグデータ、AIなどの拠点として、「Hitz先端情報技術センター」（通称は「A.I/TEC」）の運用を開始した。
日立造船は今回、IoTデータの分析基盤として、米Databricks（日本法人：データブリックス・ジャパン）のデータ分析プラットフォームを導入した（図1）。これにより、大規模データの分析やナレッジの共有など、従来のデータ分析基盤が抱えていた課題を解消した。
図1：日立造船が導入した米Databricksのデータ分析基盤ソフトウェアの概要（出典：メソドロジック）拡大画像表示
Databricks製品は、大量データを処理できる分散処理エンジン「Apache Spark」を中心としたデータ分析基盤である。ストリーミング処理とバッチ処理の両方に対応可能で、IoTデータの収集に強みがある。データサイエンティストは、「MLflow」を使った共同開発によってノウハウを共有できる。
日立造船が抱えていた課題の1つは、データ分析者が扱うデータ量の増加である。個人のローカル環境では対処が困難なケースが発生するようになったことから、大規模データを効率的に処理するシステムが必要になっていたという。
ナレッジの共有も課題だった。これまでは分析者が各案件で得たナレッジを横展開するインフラが整備されていなかった。PythonやSQLでどのような分析を実施したのかについて、ナレッジを効率的に共有できる方法を模索していた。また、マシンラーニング（機械学習）のCI/CD（継続的インテグレーション/継続的デリバリー）環境も求められていたという。
日立造船 / Databricks / Apache Spark / CI/CD / 製造 / メソドロジック / 大阪府 / 大阪市 / DWH / ETL
