富士通研究所、AI判定を意図的にだます偽装攻撃を検知する系列データ向け耐性強化技術を開発

近年、様々な領域におけるAI活用が進む中、AIの誤判定を意図的に引き起こす攻撃のリスクが懸念されている。従来の攻撃対策技術は画像・音声などのメディアデータ向けに適した技術が多く、通信ログやサービス利用履歴などの系列データへの適用には、模擬偽装攻撃データを用意する難しさや精度低下といった課題があり不十分だった。

株式会社富士通研究所は、複数の要素から成る系列データに対するAI活用において、偽造攻撃データを用いてAIモデルをだまし、意図的に判定を誤らせる攻撃への耐性を強化する技術を開発した。

同技術は、偽装攻撃を模擬したデータを大量に自動生成し元の学習データセットと結合させることで、判定精度を維持したまま偽装攻撃への耐性を向上させることができる。

模擬偽装攻撃データを作成する際は、まずベースとなる本来の攻撃データと偽装に使うデータを用意する。サイバー攻撃の場合、攻撃者は攻撃操作を正規操作に偽装させるため、ベースとなるデータは攻撃操作の通信ログデータ、偽装に使うデータは正規操作の通信ログデータとなる。

次に、偽装に使う正規操作の通信ログデータを対策前のAIモデルで分析し、その結果を参考に正規操作と判定されやすい偽装効果の高いデータを抽出する。抽出されたデータをベースとなる攻撃操作の通信ログデータに結合し、模擬偽装攻撃データとして生成する。ベースとなる攻撃操作の通信ログデータ自体は変更することなくそのまま残るため、元の性質を失うことなく自動的に大量の模擬偽装攻撃データ生成が可能となる。

また、本来の学習データセットと上記の開発技術で生成した模擬偽装攻撃データセットを用い、元の学習データに強いAIモデルと偽装攻撃データに強いAIモデルの2種類のAIモデルを構築し、その2種のAIモデルの判定結果を偽装攻撃データらしさのヒントとなる特徴を利用してアンサンブル学習(※)によって統合する。

サイバー攻撃検知の場合、ヒントとなる特徴として通信ログデータのログ行数や重複するログ行数などを使うことから、入力データの特徴に応じてどちらのAIモデルの判断を強く反映するべきかを自動的かつ適切にアンサンブル学習することが可能となり、偽装攻撃への耐性を上げつつ本来のデータに対する精度低下を抑える。

富士通研究所、AI判定を意図的にだます偽装攻撃を検知する系列データ向け耐性強化技術を開発
アンサンブル敵対的訓練技術のイメージ
同技術を用いることで、系列データに対するAIモデルの偽装攻撃への耐性強化が可能となる。

その効果を実証するため、開発技術を富士通研究所のサイバー攻撃への対処要否を判断するAIモデルに適用した。その結果、本来のテストデータに対する判定精度を殆ど低下させずに偽装攻撃テストデータに対する判定精度を約88%まで向上できることを確認した。また、判定に失敗した偽装攻撃テストデータを分析したところ、特定操作の組み合わせを偽装攻撃と判断するなど単純なルールで対応可能と判明したため、実質的にすべての偽装攻撃を防ぐことが可能となった。

富士通研究所、AI判定を意図的にだます偽装攻撃を検知する系列データ向け耐性強化技術を開発
開発技術の効果検証
富士通研究所は、2021年度に同技術の実用化を目指している。

※ アンサンブル学習:複数のAIモデルの結果を組み合わせることで精度を向上させる手法

プレスリリース提供:富士通研究所

Previous

ソフトバンク、NVIDIAのGPUを活用した5G仮想基地局の技術検証を実施

OKI、ニューノーマルで加速するコンタクトセンターのデジタルシフトを実現する新サービス「CTstage Cloud」を販売開始

Next