[新製品・サービス]
TED、大規模言語モデルの学習環境「AI Model Studioサービス」を提供
2023年8月24日(木)日川 佳三(IT Leaders編集部)
東京エレクトロン デバイス(TED)は2023年8月23日、大規模言語モデル学習プラットフォーム「AI Model Studioサービス」を提供開始した。大規模言語モデルの学習用計算資源をクラウドサービスとして提供する。GPUクラウドサービス事業者のハイレゾとの協業で提供する。計算資源として、米セレブラスシステムズ(Cerebras Systems)のAI学習用コンピュータを使う。
東京エレクトロン デバイス(TED)の「AI Model Studioサービス」は、大規模言語モデル(LLM)の学習環境をクラウドで提供するサービスである。計算資源として、米セレブラスシステムズ(Cerebras Systems)のAI学習用コンピュータ「CS-2」を使う。
最小13億~最大1750億パラメータのモデルを選択して利用する(表1)。ユーザーが一般的なパブリッククラウドやハードウェアで同等の環境を用意する場合と比べて利用コストを約半額に抑えるという。また、AWSの最大GPUインスタンス構成と比べて8倍の性能で、数分の1の価格でLLMの学習が可能だとしている。
学習用のデータセットを用意して数行のコマンドを投じると、LLMを学習させられる。ゼロからモデルを学習させることも、オープンソースのモデルをベースに最小限のデータセットを用意してファインチューニングさせることも可能である。CS-2の利用方法については、TEDのエンジニアが技術サポートを提供する。
「ビジネスで利用可能な生成AIを独自に開発するためには、占有環境で大規模言語モデルをファインチューニングし、自社データを用いて学習させる必要がある。しかし、大規模言語モデルの学習にはGPUなど高速な計算処理能力を持つハードウェアリソースを多数用意しなければならず、インフラ資源の確保が課題となっている」(同社)
モデル | パラメータ数 | Chinchillaモデル同等まで学習するのに必要なトークン数 | Cerebras AI Model Studioでの学習日数 | Cerebras AI Model Studioでの学習価格(米国) |
---|---|---|---|---|
GPT3-XL | 13億 | 260億 | 0.4 | 2500ドル |
GPT-J | 60億 | 1200億 | 8 | 4万5000ドル |
GPT-3 6.7B | 67億 | 1340億 | 11 | 4万ドル |
T-5 11B | 110億 | 340億 | 9 | 6万ドル |
GPT-3 13B | 130億 | 2600億 | 39 | 15万ドル |
GPT NeoX | 200億 | 4000億 | 47 | 52万5000ドル |
GPT 70B | 700億 | 1兆4000億 | 個別見積もり | 個別見積もり |
GPT 175B | 1750億 | 3兆5000億 | 個別見積もり | 個別見積もり |