[市場動向]

富士通、AIシステムのセキュリティリスクを開発者自身で可視化できるツールを公開

Yes/No形式の質問に回答するだけで、攻撃要因をアタックツリーで可視化

2022年7月1日(金)日川 佳三(IT Leaders編集部)

富士通は2022年6月29日、AIに潜むセキュリティリスクをAIシステムの開発者自身で分析できるツールを開発したと発表した。脅威となる攻撃の種類や、攻撃を引き起こす要因などを分析し、アタックツリーで可視化して表示する。対策案も提示する。開発した分析ツールは、富士通が活動に貢献している日本ソフトウェア科学会の機械学習工学研究会(MLSE)が発行する『機械学習システムセキュリティガイドラインVersion1.0』で公開した。

 富士通は、AIに潜むセキュリティリスクを、AIシステムの開発者自身で分析可能なツールを開発した(図1)。攻撃の種類を判定し、攻撃を引き起こす要因を分析し、アタックツリーで可視化し、対策案を提示するツールである。富士通が活動に貢献している日本ソフトウェア科学会の機械学習工学研究会(MLSE)が発行する『機械学習システムセキュリティガイドラインVersion1.0』で公開した。

図1:AI開発者向けの脅威分析ツールの概要(出典:富士通)図1:AI開発者向けの脅威分析ツールの概要(出典:富士通)
拡大画像表示

 Yes/No形式の最大26問の質問に回答するだけで、代表的な22種の攻撃の中から、受ける可能性のある攻撃の種類を判定し、攻撃の要因をアタックツリーで可視化する。Yes/No形式の質問は、AI開発者が容易に回答できるように、システムの仕様に関する質問で構成した。

 質問は、アタックツリー内部にある条件と、システムの仕様を、AIセキュリティに関する攻撃手法の知見を基に結び付けることで作成した。質問の例は、以下の通りである。質問に回答することで、アタックツリー内部の条件を満たしているかどうかが分かる。

  • 質問1: 想定攻撃者は準備した推論データ1000個以上に対して推論処理を実行することができますか?
  • 質問2: 想定攻撃者にモデルの判定結果を提示しますか?

 図2は、ある攻撃方法のアルゴリズムのアタックツリーである。このツリーの最上段がTRUE(成立)になると、その攻撃方法によって被害を受ける可能性があることを示している。

図2:アタックツリーによる攻撃要因の可視化(出典:富士通)図2:アタックツリーによる攻撃要因の可視化(出典:富士通)
拡大画像表示

 Yes/No形式の質問への回答によって、ツリーの最下段に書かれている条件部分のTRUE(成立)/FALSE(不成立)が決まる。あとはツリーに従って論理計算をすることで、ツリーの最上段が成立するかどうか、つまりその攻撃によって被害を受けるかどうかが分かる。これと同時に、何故その攻撃を受けてしまうのか、攻撃要因も明らかになる。

 攻撃被害を受ける可能性がある、と判定されたツリーについては、ツリーを成立させている攻撃要因のいずれかを選択し、それに対応する対応策を採用することで、その攻撃要因を取り除き攻撃からの被害を受けにくくすることができる。

 対応策の例は、以下の通りである。

  • 対応策1:ユーザーがデータ1000個以上に対して推論処理を実行できないようにする
  • 対応策2:判定結果をユーザーに提示しないようにする
関連キーワード

富士通 / セキュリティリスク / アタックツリー

関連記事

Special

-PR-

富士通、AIシステムのセキュリティリスクを開発者自身で可視化できるツールを公開富士通は2022年6月29日、AIに潜むセキュリティリスクをAIシステムの開発者自身で分析できるツールを開発したと発表した。脅威となる攻撃の種類や、攻撃を引き起こす要因などを分析し、アタックツリーで可視化して表示する。対策案も提示する。開発した分析ツールは、富士通が活動に貢献している日本ソフトウェア科学会の機械学習工学研究会(MLSE)が発行する『機械学習システムセキュリティガイドラインVersion1.0』で公開した。

PAGE TOP