NRIセキュア、生成AIを活用したシステム向けのセキュリティ診断サービス「AI Red Team」を提供

近年、大規模言語モデル（以下、LLM）への期待が高まる一方で、入力プロンプトを操作してモデルから不適切な情報を取得する「プロンプトインジェクション」や、LLMに設定されていた指令や機密情報を盗み出そうとする「プロンプトリーキング」と呼ばれる脆弱性に加え、「ハルシネーション」「機微情報の漏洩」「不適切なコンテンツの生成」「バイアスリスク」といったリスクが存在する。

こうした中、NRIセキュアテクノロジーズ株式会社は、同社が提供する「AIセキュリティ統制支援」サービスのラインナップの一つとして、新たに生成AIを利用するシステムやサービスを対象にした、セキュリティ診断サービス「AI Red Team」の提供を本日開始する。

一般的にAIは、それ単体でサービスとして機能することはなく、周辺機能と連携することで具体的な提供サービスを構成する。そのため、LLM単体のリスクを特定するだけではなく、サービス全体を俯瞰して、「リスクが顕在化した場合に、システムやエンドユーザに悪影響を与えるかどうか」というリスクベースアプローチでも評価する必要がある。

そこで「AI Red Team」では、NRIセキュアの専門家が、実際のシステムに擬似攻撃を行うことで、LLMを活用したサービスにおけるAI固有の脆弱性と、そのAIと連携する周辺機能を含めたシステム全体の問題点を、セキュリティ上の観点から評価する。

LLM単体でのセキュリティリスクを洗い出し、LLMを含むシステム全体を評価するという、2段階に分けた診断を実施。診断の結果、見つかった問題点と緩和策をまとめた報告書を提供する。

具体的には、実行中のアプリケーションをテストし、潜在的なセキュリティ脆弱性を動的に評価する手法である「DAST」を採用し、自動でテストが可能な診断用アプリケーションを独自に開発。このアプリケーションを用いることで、効率的かつ網羅的に脆弱性を検出する。

さらに、LLMのセキュリティに精通したエンジニアが診断にあたり、自動テストではカバーできない各システム固有の問題点も洗い出し、検出された脆弱性を調査する。

また、「AI Red Team」は、AI固有の問題を評価するだけでは対処が難しいLLM固有の10大セキュリティリスク「OWASP Top10 for LLM」にも対応している。

加えて、仮にAIそのものに脆弱性があった場合には、システム全体から見た実際のリスクの程度を評価することによって、実施が難しいAIそのものの脆弱性対応をせずに済むよう、代替の対策案を提示することができる。

なお、NRIセキュアでは、生成AIを利用したシステム等のセキュリティ対策を継続的に支援していくために、「AI Red Team」と対をなすサービスとして、AIアプリケーションの定期的なモニタリングを実施する「AI Blue Team」サービスを開発している。