[市場動向]

2022年7月1日(金)日川 佳三（IT Leaders編集部）

リスト

　富士通は、AIに潜むセキュリティリスクを、AIシステムの開発者自身で分析可能なツールを開発した（図1）。攻撃の種類を判定し、攻撃を引き起こす要因を分析し、アタックツリーで可視化し、対策案を提示するツールである。富士通が活動に貢献している日本ソフトウェア科学会の機械学習工学研究会（MLSE）が発行する『機械学習システムセキュリティガイドラインVersion1.0』で公開した。

図1：AI開発者向けの脅威分析ツールの概要（出典：富士通）
拡大画像表示

　Yes/No形式の最大26問の質問に回答するだけで、代表的な22種の攻撃の中から、受ける可能性のある攻撃の種類を判定し、攻撃の要因をアタックツリーで可視化する。Yes/No形式の質問は、AI開発者が容易に回答できるように、システムの仕様に関する質問で構成した。

　質問は、アタックツリー内部にある条件と、システムの仕様を、AIセキュリティに関する攻撃手法の知見を基に結び付けることで作成した。質問の例は、以下の通りである。質問に回答することで、アタックツリー内部の条件を満たしているかどうかが分かる。

• 質問1： 想定攻撃者は準備した推論データ1000個以上に対して推論処理を実行することができますか？
• 質問2： 想定攻撃者にモデルの判定結果を提示しますか？

　図2は、ある攻撃方法のアルゴリズムのアタックツリーである。このツリーの最上段がTRUE（成立）になると、その攻撃方法によって被害を受ける可能性があることを示している。

図2：アタックツリーによる攻撃要因の可視化（出典：富士通）
拡大画像表示

　Yes/No形式の質問への回答によって、ツリーの最下段に書かれている条件部分のTRUE（成立）/FALSE（不成立）が決まる。あとはツリーに従って論理計算をすることで、ツリーの最上段が成立するかどうか、つまりその攻撃によって被害を受けるかどうかが分かる。これと同時に、何故その攻撃を受けてしまうのか、攻撃要因も明らかになる。

　攻撃被害を受ける可能性がある、と判定されたツリーについては、ツリーを成立させている攻撃要因のいずれかを選択し、それに対応する対応策を採用することで、その攻撃要因を取り除き攻撃からの被害を受けにくくすることができる。

　対応策の例は、以下の通りである。

• 対応策1：ユーザーがデータ1000個以上に対して推論処理を実行できないようにする
• 対応策2：判定結果をユーザーに提示しないようにする