IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ 市場動向 ＞ Preferred Elements、1000億パラメータのマルチモーダル基盤モデルを開発へ
AI AI記事一覧へ

[市場動向]

Preferred Elements、1000億パラメータのマルチモーダル基盤モデルを開発へ

1兆パラメータLLMの事前学習も検証

2024年2月2日(金)日川 佳三（IT Leaders編集部）

Preferred Networks（PFN）子会社のPreferred Elements（PFE）は2024年2月2日、1000億パラメータのマルチモーダル基盤モデルの開発を始めると発表した。合わせて、1兆パラメータの言語モデルを開発するための事前学習について検証する。開発期間を同年2月15日～8月15日とし、開発成果として1000億パラメータのモデルウェイトやファインチューニング用コード、学習課題やノウハウを公開する予定。同社は複数の企業・行政機関と2024年中の利用開始に向けた検討・商用化の準備を進めている。

　Preferred Elements（PFE）は、同社が開発済みの130億パラメータ（PLaMo-13B）を上回る1000億パラメータのマルチモーダル基盤モデルを開発する。事前学習と追加学習、指示学習、画像モーダル向けの事前学習と追加学習、音声モーダル向けの追加学習などを実施する。

　経済産業省と新エネルギー・産業技術総合開発機構（NEDO）による生成AI開発力強化プロジェクト「GENIAC（Generative AI Accelerator Challenge）」の採択を受け、必要な計算資源の提供を得て開発を進める。

　開発期間は同年2月15日～8月15日。1000億パラメータ基盤モデルの開発に加えて、1兆パラメータ言語モデルのための事前学習についても検証する。

　開発成果として、1000億パラメータのモデルウェイトやファインチューニング用コード、学習課題やノウハウを公開する予定。同社は複数の企業・行政機関と2024年中の利用開始に向けた検討・商用化の準備を進めている。

関連キーワード

Preferred Networks / 大規模言語モデル / 生成AI / マルチモーダルAI / R＆D / 経済産業省 / NEDO

関連記事

おすすめのホワイトペーパー

more「製品/サービス資料ダウンロードサイト「Impress Business Library」へ」

トピックス

[Sponsored]

Preferred Elements、1000億パラメータのマルチモーダル基盤モデルを開発へPreferred Networks（PFN）子会社のPreferred Elements（PFE）は2024年2月2日、1000億パラメータのマルチモーダル基盤モデルの開発を始めると発表した。合わせて、1兆パラメータの言語モデルを開発するための事前学習について検証する。開発期間を同年2月15日～8月15日とし、開発成果として1000億パラメータのモデルウェイトやファインチューニング用コード、学習課題やノウハウを公開する予定。同社は複数の企業・行政機関と2024年中の利用開始に向けた検討・商用化の準備を進めている。

PAGE TOP