[新製品・サービス]

2026年6月25日(木)IT Leaders編集部、日川 佳三

シェアする

リスト

　ペンギンソリューションズの「MemoryAI KVキャッシュサーバー」（写真1）は、大規模なAI推論の応答性能を高めるためのハードウェアである。4Uラックマウントの筐体に11TBのメモリーを搭載したストレージキャッシュ装置で、大規模言語モデル（LLM）が推論時に生成するトークンのKVキャッシュ（Key-Value Cache）を外部ストレージ階層にオフロードする際のI/O性能を向上させる。

　KVキャッシュは、LLMが推論処理で文章などを生成する際の短期記憶にあたる仕組み。一度計算した過去のKVを保存しておくことで、毎回最初から計算し直す無駄を省き、生成速度を高速化する。

写真1：「MemoryAI KVキャッシュサーバー」の外観（出典：ペンギンソリューションズ）
拡大画像表示

　LLMの推論処理では、生成したトークンのKVキャッシュが大量に発生する。「例えば、RAG（検索拡張生成）でLLMに渡す情報量が多い場合や、長い対話のやり取りなどでは、KVキャッシュがGPUメモリーを圧迫する。そのため、CPU配下のメインメモリーにKVキャッシュを退避させ、必要に応じて再ロードする」（同社）。それでも容量が足りない場合は退避先としてストレージも使う。

　米NVIDIAは、大規模推論時におけるKVキャッシュの運用モデルをNVIDIA Dynamoフレームワークとして公開している（図1）。推論サーバーのローカルSSDだけでなく外部ストレージも使うことで、大容量のKVキャッシュを利用できるようにしている。複数台の推論サーバーでクラスタを組んでKVキャッシュを共有する方法も想定している。

図1：NVIDIA Dynamoの運用モデルとKVキャッシュサーバーの位置付け（出典：ペンギンソリューションズ）
拡大画像表示

　今回提供するMemoryAI KVキャッシュサーバーは、ローカルSSDと外部ストレージの間に挟まり、外部ストレージをメモリーでキャッシュする。これにより、NVIDIA Dynamoフレームワークにおける外部ストレージをより高速に利用できるようにする。外部ストレージにKVキャッシュを退避させるような大規模推論時において応答性能が高まる。

　ハードウェアの仕様は、4UラックマウントのI/Oボックスに、PCI Expressの物理仕様を流用したインターコネクト規格であるCXL（Compute eXpress Link）接続のメモリーユニット8個を収容し、そのうえでKVキャッシュ機能を持つサーバーマシンを搭載している。推論サーバーとはEthernetまたはInfiniBandで接続する。

　CXLメモリー1ユニットには、容量128GBのDIMMを8基（合計1TB）搭載し、8ユニットで合計8TBになる（写真2）。サーバーが3TBのメモリーを搭載するので、4U全体で11TBのメモリーをキャッシュ用途に利用できる。

写真2：CXLメモリーユニットの外観。DIMM8基を装着する（出典：ペンギンソリューションズ）
拡大画像表示

　なお、ペンギンソリューションズは、2026年4月に日本ストラタステクノロジーから社名を変更している。米国本社の事業ブランド統合を受けたもので、これまで販売してきた無停止型サーバーをストラタス（Stratus）ブランドで継続して販売すると同時に、今後はブランド統合先である米ペンギン・ソリューションズの製品（AI用途のGPU搭載サーバーなど）を販売する（関連記事：日本ストラタステクノロジーがペンギン・ソリューションズに社名変更、無停止型サーバーに加えてAI向けGPUサーバーを販売）。