TestMu AI、AIエージェントの安全性をリリース前に自動検証する「Agent Assurance」をリリース

企業:

米TestMu AIは2026年8月19日、エンジニアリングチームがAIエージェントをリリースする前に、その機能と安全性を自動検証する新ソリューション「Agent Assurance(エージェント・アシュアランス)」を発表した。

同システムは、エージェントのプログラムコードを解析して機能テスト、非機能チェック、およびプロンプト注入などの敵対的セキュリティ脆弱性テストを網羅した包括的なテストスイートを、自律的に自動生成するものだ。

エージェントの自己申告ではなく、実際にディスク上で変更されたファイルやAPIの実行履歴といった物理的な客観エビデンスに基づいて自律的な判断・挙動を厳格に評価することで、企業のAI運用における盲点を可視化する。

具体的には、エージェントをテスト環境下で実際に稼働させ、ディスク上で実際に変更されたファイル、生成された成果物、さらにはシステム外部に呼び出されたAPIやツールのログなど、偽造不可能な実エビデンスを直接観察して自動で良否を評価する。

さらに、同システムは通常の「合格・不合格」という評価軸に加え、3つ目の判定として「検証不能」を公表する画期的なアプローチを採用している。

この検証不能と判定された領域は「アシュアランス・ギャップ」と呼ばれ、開発チームが把握できていないシステムの盲点の大きさを定量的に示すものである。

レポートに提示されたこのギャップをもとに、開発者はエージェントの動作ログの出力構造や観測可能性(オブザーバビリティ)を段階的に改善し、テストの盲点を減らしていくことが可能だ。

また、開発者がテスト対象のコードベースを指定することで、AIがエージェントの仕様や挙動のシナリオを自動で解析し、機能および非機能、セキュリティ試験を網羅したテストスイートを自律生成する。

利用に必要な初期設定は、対象エージェントの呼び出しコマンドやHTTPエンドポイント、MCP(Model Context Protocol)サーバ、あるいはn8nといった連携ワークフローの形式を指定するのみで可能だ。

特に、ガバナンス上重視されるセキュリティ対策として、悪意あるプロンプトを流し込んでAIの挙動をコントロールする「プロンプトインジェクション」や、システム操作の悪用、指示の改ざんといった「敵対的(アドバーサリアル)な攻撃領域」が、追加オプションではなく最初からテストの標準項目として網羅的に組み込まれ、検証が自動実行される。

また、企業のシステム開発におけるCI/CD(継続的インテグレーション/デリバリー)パイプラインへの組み込みも容易であり、コミットごとの簡易的なスモークテストからリリース前の統合テストにいたるまで、常にテストをリリースゲートとして稼働させられる。

さらに、ヘッドレスコマンドや特定の終了コードを用いることで、単純な「エージェント側の内部バグ」と、「そもそもテスト環境やフレームワーク側がテストを実行できなかったという環境エラー」を明確に区別して通知する。

加えて、システムを修正・変更した際に行う回帰テストでは、実行ごとの差分を細かく比較分析し、新たに発生したエラー、すでに修正されたエラーに加え、挙動が時折ブレる「不安定な(不確実な)判定」を明確に識別する仕組みを備えている。

これにより、突発的にハルシネーションなどのエラーが発生する不安定なシステムの課題を客観的に捉えることが可能だ。

なお、同プラットフォームは、システム内部で動作する自律型AIの検証だけでなく、会話型エージェントに対応した「ビデオエージェントテスト」機能も備えている。

同機能では、リアルな顔と声を持つシミュレートされた人物が、ライブビデオエージェントのセッションに直接参加し、本物の会話を交わしたうえで、チームが定義した成功基準に基づいてエージェントを評価する。

この際、評価結果はすべて、その評価が下された録画の正確な時点に紐付けられて出力される。

また、記録から確認できない事項については、すべて意図的に「未達成」とみなされる厳格な基準が適用される。これは、記録そのものがエビデンスとなるカテゴリー特有の厳格な思想を反映したものであり、評価者が確認できなかった瞬間については、ビデオエージェントは決して評価対象とはならない仕様となっている。

現在、TestMu AIプラットフォーム上において、チャットや音声を主軸とする「会話型エージェント」向けの評価カテゴリーはすでに一般提供が開始されている。

また、システムへの直接介入を行う「自律型エージェント」向けのテスト機能は早期アクセス版(ターミナルからrookとして実行)として提供されており、全ての処理モデルがTestMu AIのコントローラ上で実行される。