NTTデータは2024年1月26日、対話型の生成AIシステム「LITRON Generative Assistant（LITRON GA）」の新サービスを2024年4月から提供すると発表した。これまでパブリッククラウド上でAzure OpenAI Serviceと共に提供してきたが、新たに閉域環境でNTTの大規模言語モデル「tsuzumi」と組み合わせたサービスを追加した。併せて、生成AI関連コンサルティング、データサイエンティストによる活用支援、システム構築・運用、人材育成を一貫して提供する。
NTTデータの「LITRON Generative Assistant（LITRON GA）」は、企業向けの対話型の生成AIシステムである。パブリッククラウド上にユーザー専有環境を構築し、大規模言語モデル（LLM）にAzure OpenAI ServiceのGPTシリーズを用いたマネージドクラウドサービスとして提供している（関連記事：NTTデータ、対話型AI「LITRON Generative Assistant」を提供、参照先の文書を指定可能）。
図1：LITRON Generative Assistantの動作イメージ（例：旅行代理店のユースケース）（出典：NTTデータ）拡大画像表示
LITRON GAでは、社内文書や業務関連資料など企業が保有する文書に含まれる情報をベースに回答文を生成する。チャットから質問する際、プルダウンメニューから「就業規則」「人事労務の社内規定」「国税庁レポート」など事前に登録したソースを選ぶと求める内容の回答を生成する（画面1）。
今回、LITRON GAの新サービスとして、NTTが開発した日本語LLM「tsuzumi」を閉域環境で提供するサービスを開始した。tsuzumiはデータの追加学習が比較的容易で、より自社の業務に特化した日本語の回答文を生成できる。また、閉域環境で提供することで、重要/機密情報を扱うケースに適用しやすい。
軽量性が特徴のtsuzumiでは、データを追加学習する場合においても大規模なマシンリソースは不要としている。「大きな学習・推論環境を必要とするLLM環境のコストを従来比で20分の1に低減できる」（NTTデータ）という。
tsuzumiには、知識を追加学習させるためのアダプタが備わっている。業界特有の言語表現や知識を使って回答するためのファインチューニングを、少ない追加学習量で行える。tsuzumiと組み合わせたLITRON GAの業務適用例を4つ挙げている。
- 金融商品のレコメンド：tsuzumiが金融業務知識や取引履歴などを学習して市場動向や商品情報を参照。顧客ごとにカスタマイズした金融商品をレコメンドする。
- 患者ごとの治療計画策定：tsuzumiが医療の専門知識とガイドラインなどを学習して患者ごとのライフスタイルなど顧客情報を参照。個々に最適な治療計画を策定する。
- 行政サービス窓口における問い合わせ応答：tsuzumiが行政窓口対応マニュアル、用語集、規則やポリシーなどを学習してFAQなどの関連文書を参照。問い合わせに即した行政サービスを案内する。
- 顧客ごとにパーソナライズした販売提案書： tsuzumiが取引履歴や過去の提案資料、トークスクリプトなどを学習して商品情報や市場トレンドを参照。成約率が高い顧客エンゲージメントや提案を実現する。
