[新製品・サービス]

生成AIアプリを有害な入出力から保護する「AI Firewall」─米Robust Intelligence

2024年5月21日(火)IT Leaders編集部

米Robust Intelligence(ロバストインテリジェンス)は2024年5月20日、AIセキュリティサービス「AI Firewall」を発表した。AIアプリケーションの入出力をリアルタイムで監視し、有害な入出力をブロックする。各種セキュリティフレームワークが規定している重要なリスクからAIアプリケーションを保護する。

 米Robust Intelligence(ロバストインテリジェンス)の「AI Firewall」は、生成AIを安全に利用するためのセキュリティサービスである。生成AIを用いたアプリケーションと利用者の間に入って、AIへのプロンプト入力と、AIによる出力の両方をリアルタイムで監視し、有害な入出力をブロックする。日本語の大規模言語モデルにも対応している(図1)。

図1:「AI Firewall」の概要(出典:米Robust Intelligence)
拡大画像表示

 「AIを対象に、ファイアウォールによるリアルタイムな防御を必要とする攻撃が増えている」(同社)ことからサービスを提供する。攻撃の例として、「データポイズニング」(生成AIの学習データに有害な操作を施す)、「プライバシー攻撃」(AIモデルやデータから機密情報の漏洩を狙う)、「プロンプトインジェクション」(AIモデルに本来想定されていない挙動を促す)、などを挙げる。

 各種セキュリティフレームワークが規定している重要なリスクからAIアプリケーションを保護する。例えば、「OWASP TOP 10 for LLM」「MITRE ATLAS」、米NIST(国立標準技術研究所)の「Adversarial Machine Learning Taxonomy」などをカバーする。機密情報(個人情報、PII)の抽出、準拠すべき文脈と出力との矛盾の指摘などが可能である。

 APIを呼び出す形で利用可能で、既存のAIアプリケーションに大幅な改変を加えることなく導入できる。初期ユーザーとして、すでに国内の大手保険会社が導入を開始しているという。

 Robust Intelligenceは、2019年に米ハーバード大学の研究者らが創業したスタートアップ企業である。累計90億円を調達し、AIリスク管理の製品・サービスを提供している。AIアプリケーションを保護するAI Firewallのほかに、AIモデルとデータに対するテストを実施する「AI Testing」を提供している。

関連キーワード

生成AI

関連記事

トピックス

[Sponsored]

生成AIアプリを有害な入出力から保護する「AI Firewall」─米Robust Intelligence米Robust Intelligence(ロバストインテリジェンス)は2024年5月20日、AIセキュリティサービス「AI Firewall」を発表した。AIアプリケーションの入出力をリアルタイムで監視し、有害な入出力をブロックする。各種セキュリティフレームワークが規定している重要なリスクからAIアプリケーションを保護する。

PAGE TOP