Dataiku Japanは2024年10月23日、大規模言語モデル（LLM）のガードレール機能「Dataiku LLMガード」を提供開始した。任意のLLMへのアクセスを仲介するゲートウェイ「Dataiku LLMメッシュ」の機能として、コストガード（利用コスト監視）、安全性ガード（情報漏洩防止）、クオリティーガード（レスポンス品質保証）の3つを提供する。
米Dataiku（データイク）日本法人のDataiku Japanが提供する「Dataiku LLMガード」は、生成AI/大規模言語モデル（LLM）の“ガードレール”機能である。任意のLLMへのアクセスを仲介する同社のゲートウェイサービス「Dataiku LLMメッシュ」に組み込まれている。
LLMの利用にあたり、(1)コストガード（利用コスト監視）、(2)安全性ガード（情報漏洩防止）、(3)クオリティーガード（レスポンス品質保証）の3つを提供する（図1）。
図1：大規模言語モデル（LLM）のガードレール機能「Dataiku LLMガード」の位置づけ（出典：Dataiku Japan）拡大画像表示
(1)コストガード
ダッシュボードでLLMの使用状況とコストを可視化する。ユースケース/ユーザーごとにレポートを生成する。LLMの利用ログは社内のユーザー/部門への請求に利用できる。
(2)安全性ガード
個人を特定可能な情報（PII）、有害コンテンツ、禁止用語、プロンプトインジェクションの試みなど、センシティブな情報や悪意のある行為がリクエストやレスポンスに含まれるかを評価する。LLMにリクエストを送信する前に機密情報を編集したり、リクエストをブロックしたり、管理者に警告を発したりするなど情報漏洩防止の適切なアクションがとれる。
(3)クオリティーガード
生成AI固有の品質指標とモデル結果を並べて比較する。LLM監視・評価のための標準化されたツールなどにより、LLMの概念実証（PoC）から本番稼働まで、品質を保証するとしている。
LLMガード機能を提供するLLMメッシュは、任意のLLMへのアクセスを仲介するAPIゲートウェイ。アプリケーションにハードコーディングされたLLMとの依存関係を解消し、アプリケーションとLLM間のリクエストを管理・ルーティングする。また、クエリーに対するレスポンスをキャッシュして再利用する機能も備え、LLMの利用コスト削減に役立てられる。
