米IBMは2024年10月21日、年次プライベートイベント「TechXchange」において、大規模言語モデル（LLM）の新版「Granite 3.0」のリリースを発表した。企業データで小規模なGraniteモデルをチューニングすることで、大規模なモデルに匹敵するタスク固有の性能を低コストで実現できることをうたう。一般用モデル、ガードレール用モデル、混合モデルの3種類で構成する。Apache 2.0ライセンスの下、オープンソースソフトウェア（OSS）として公開する。
IBMの「Granite（グラナイト）」は、同社が開発した大規模言語モデル（LLM）/基盤モデルである。LLMとしての特徴は、軽量さに加え、企業での事業・業務用途に特化したデータを学習ソースにしていることである（関連記事：IBM、大規模言語モデル「Granite」日本語版を提供、英語版より軽量な80億パラメータ）。
今回、新版の「Granite 3.0」をリリースした。用途ごとに以下の3種類のモデルで構成する。Apache 2.0ライセンスの下、オープンソースソフトウェア（OSS）として公開する。
- 一般用モデル：Granite 3.0 2B Instruct、Granite 3.0 8B Base、Granite 3.0 2B Base
- 入出力ガードレール用モデル：Granite Guardian 3.0 8B、Granite Guardian 3.0 2B
- 混合モデル：Granite 3.0 3B-A800M Instruct、Granite 3.0 1B-A400M Instruct、Granite 3.0 3B-A800M Base、Granite 3.0 1B-A400M Base
Granite 3.0 8Bおよび2B言語モデルは、企業向けの主力モデルと位置づけている。RAG（Retrieval-Augmented Generation：検索拡張生成）、分類、要約、エンティティ抽出、ツール使用などのタスクに向く。
企業データで小規模なGraniteモデルをチューニングすることで、大規模なモデルに匹敵するタスク固有の性能を低コストで実現できることをうたう。IBMが事前に行ったPoCで、大規模モデルと比べて3～23倍コストが低いことを確認したという。
同社は、LLMの多くは企業データの大部分を利用できていないと指摘。対してGraniteでは、IBMとレッドハットが2024年5月に発表したアライメント技術「InstructLab」を用いて、小規模なGraniteモデルを企業データと組み合わせることで、大規模モデルに匹敵するタスク固有のパフォーマンスを低コストで達成できるとアピールしている（関連記事：IBMが生成AIへの取り組みを加速、AIモデル/ツールをオープンソースで公開、自社製品に実装）。
Granite 3.0は、日本語を含む12種類の自然言語と116種類のプログラミング言語から収集した12兆トークン超のデータを用いて、データ品質、データ選択、学習パラメータの最適化のために設計した2段階学習法を用いている。IBMは、主力のGranite 3.0 8Bと2B言語モデルにおいて、2024年末までに128Kのコンテキスト長とマルチモーダル文書を理解する機能を実装する予定である。
入出力ガードレール用モデルのGranite Guardian 3.0は、アプリケーション開発者が、ユーザーが発したプロンプトやLLMからの応答をリスク管理の観点でチェックを可能にする。社会的偏見、憎悪、攻撃性、冒涜、暴力、ジェイルブレイキングなどの有害性に加え、根拠、文脈の関連性、回答の関連性といったRAG特有のチェック機能を備えている。
