[新製品・サービス]
NEC、生成AI専用サーバー「cotomi Appliance Server」を金融業などに向けて提供
2024年4月25日(木)IT Leaders編集部
NECは2024年4月24日、生成AIサーバーアプライアンス「cotomi Appliance Server」を発表した。同年6月から金融業とコンタクトセンターに向けて販売を開始する。同社製LLMの「cotomi Light」や各種ソフトウェア、プロンプトテンプレートなど、生成AIを活用するために必要な機能をワンパッケージにし、設定済みのサーバーハードウェアとして提供する。NECは、生成AI関連事業全体で2025年度末までに約500億円の販売を見込む。
NECの「cotomi Appliance Server」は、大規模言語モデル（LLM）や各種ソフトウェア、プロンプトテンプレートなど、生成AIを活用するために必要な機能をワンパッケージにしたサーバーアプライアンスである。インストール・設定が施された「推論モデル」と「推論＋ファインチューニングモデル」の2モデルを提供する（図1）。
図1：生成AI/LLMの提供形態にサーバーアプライアンス「cotomi Appliance Server」を追加した（出典：NEC）拡大画像表示
ローカル環境にアプライアンスを設置することで、レスポンス時間が短く、セキュアな生成AI利用環境を実現するとしている。秘匿性の高い業務に適していることから、まずは金融業とコンタクトセンターに向けて提供する。
NVIDIAのGPUを搭載したサーバーに、同社製LLM「cotomi Light」や生成AI活用を支援する「NEC Generative AI Framework」、プロンプトテンプレートなどをプリインストール/設定した状態で販売する。
NECはcotomi Lightについて、GPT-3.5-Turboなどと同等レベルの性能を持ちながら、GPU1～2基のマシンで大量のリクエストを高速処理することができ、多くの業務で十分な性能を発揮するとしている。
同社の検証によると、RAG（Retrieval-Augmented Generation：検索拡張生成）構成をとるcotomi Lightの社内文書検索システムにおいて、未ファインチューニングの状態でGPT-3.5以上の正答率、チューニング後はGPT-4を超える正答率を、約15分の1のレスポンス時間で達成したという（図2）。
図2：cotomi Lightのレスポンス時間に関する検証結果（出典：NEC）拡大画像表示
「LLMの性能を高めるには大規模なLLMが必要だが、反面、レスポンスが遅くなる。そこで、学習方式やアーキテクチャに工夫を凝らしたことで、速度と性能を両立させている」（NEC）
NECグループでは約4万人の社員が生成AIの社内サービスを約1年間にわたって社内業務に活用している。そこで得た対話履歴を解析・活用して、現実的なユースケースでの性能向上を図っているという。
