米Robust Intelligence（ロバストインテリジェンス）は2024年5月20日、AIセキュリティサービス「AI Firewall」を発表した。AIアプリケーションの入出力をリアルタイムで監視し、有害な入出力をブロックする。各種セキュリティフレームワークが規定している重要なリスクからAIアプリケーションを保護する。
米Robust Intelligence（ロバストインテリジェンス）の「AI Firewall」は、生成AIを安全に利用するためのセキュリティサービスである。生成AIを用いたアプリケーションと利用者の間に入って、AIへのプロンプト入力と、AIによる出力の両方をリアルタイムで監視し、有害な入出力をブロックする。日本語の大規模言語モデルにも対応している（図1）。
図1：「AI Firewall」の概要（出典：米Robust Intelligence）拡大画像表示
「AIを対象に、ファイアウォールによるリアルタイムな防御を必要とする攻撃が増えている」（同社）ことからサービスを提供する。攻撃の例として、「データポイズニング」（生成AIの学習データに有害な操作を施す）、「プライバシー攻撃」（AIモデルやデータから機密情報の漏洩を狙う）、「プロンプトインジェクション」（AIモデルに本来想定されていない挙動を促す）などを挙げる。
各種セキュリティフレームワークが規定している重要なリスクからAIアプリケーションを保護する。例えば、「OWASP TOP 10 for LLM」「MITRE ATLAS」、米NIST（国立標準技術研究所）の「Adversarial Machine Learning Taxonomy」などをカバーする。機密情報（個人情報、PII）の抽出、準拠すべき文脈と出力との矛盾の指摘などが可能である。
APIを呼び出す形で利用可能で、既存のAIアプリケーションに大幅な改変を加えることなく導入できる。初期ユーザーとして、すでに国内の大手保険会社が導入を開始しているという。
Robust Intelligenceは、2019年に米ハーバード大学の研究者らが創業したスタートアップ企業である。累計90億円を調達し、AIリスク管理の製品・サービスを提供している。AIアプリケーションを保護するAI Firewallのほかに、AIモデルとデータに対するテストを実施する「AI Testing」を提供している。
