[市場動向]

2023年5月22日(月)日川 佳三（IT Leaders編集部）

リスト

　東京工業大学、東北大学、富士通、理化学研究所の4組織は、スーパーコンピュータ「富岳」の並列計算環境を活用して大規模言語モデルを効率よく学習する技術を研究開発する。研究開発期間は、2023年5月24日から2024年3月31日まで（写真1）。

写真1：スーパーコンピュータ「富岳」の外観（出典：東京工業大学、東北大学、富士通、理化学研究所）

　「大規模なディープラーニング（深層学習）モデルの性能を高めるには、大量のデータを効率的に処理する高性能計算資源が不可欠である。モデル開発のための計算環境を整備することを目的に、富岳を活用し、大規模言語モデルの分散並列学習手法について研究開発を行う」（4組織）。役割分担は以下のとおり。

• 東京工業大学：全体総括、大規模言語モデルの並列化および高速化
• 東北大学：学習用データの収集、モデルの選択
• 富士通：大規模言語モデルの高速化
• 理化学研究所：大規模言語モデルの分散並列化・通信高速化、大規模言語モデルの高速化

　4組織は今後、日本の技術者や研究者が大規模言語モデルの開発に活用できるように、研究成果を、GitHubやHugging Faceを通じて2024年度に公開する。「多くの技術者や研究者がモデルの改善や新たな応用研究に参加することで、効率的な方法が創出され、次世代の革新的な研究やビジネスの成果につながることが期待される」（4者）としている。

　また、産業分野への応用を想定したマルチモーダル化のためのデータ生成手法と学習手法を開発している名古屋大学や、大規模言語モデルを構築するためのデータと技術を提供しているサイバーエージェントとの連携も検討するとしている。