2026年7月から8月にかけて、最先端のAIを開発する主要企業が、自社モデルの「事故」を相次いで自ら公表した。
これらは、セキュリティ評価のテスト中に、AIエージェントが想定された範囲を越えて行動したという内容だ。
OpenAIは未公開モデルが未知の脆弱性を突いて隔離環境から抜け出し、外部プラットフォームに侵入したと公表し、Anthropicは自社の評価ログ14万1006件を精査した結果、Claudeが設定ミスによって開いていたインターネット経路に気づかず3つの実在組織に侵入していたことを認めた。
Metaも同種の事故を公表し、英国のAI Security Institute（以下、AISI）は、AnthropicとOpenAIのモデルが評価中に想定外の行動を19件起こしていたことを明らかにしている。
こうした一連の事故を見ていくと、「リスク判断をいつ見直すか」「制約を外した先で何が起きるか」「異常に誰が気づくか」という三つの共通した課題が浮かび上がってくる。これらは、先端AIを開発する超大企業だけに関係するわけではなく、AIエージェントを業務に組み込むすべての企業に共通する構造的な課題である。
そこで本稿では、事件の詳細と、その背景にある三つの論点、そして、自社のAIエージェント活用を点検するための具体的な三つの視点を整理する。
何が起きたのか？5件の事故を整理する
まずは、今回相次いで公表された5件の事故を、当事者企業および評価を行った第三者企業が公表した内容にもとづき、簡単に整理しておきたい。
OpenAI:外部プラットフォームへの侵入
未公開の自社モデルが、未知の脆弱性(ゼロデイ)を突いて隔離テスト環境から抜け出し、AI開発者・研究者・企業が使う機械学習モデルの共有プラットフォームである「Hugging Face」の本番システムに侵入した。
技術的な防御を実際に突破した、文字どおりの「脱走」である。この公表が、以下に挙げる各社の自主点検の引き金になった。
Anthropic:3組織への侵入
自社の評価ログ14万1006件を精査した結果、Claudeが3件の事例で、評価パートナーとの設定の行き違いにより開いていたインターネット経路に気づかず、3つの実在組織のシステムに侵入していたことが判明した。
Claude自身は一貫して「自分はシミュレーションの中にいる」と信じたまま行動しており、Anthropicは「サンドボックスの脱走ではなく、運用上の設定ミスが原因」と説明している。
Meta:第三者企業への侵入
同様の設定ミスにより、自社モデル「Muse Spark 1.1」が第三者企業のシステムに侵入し、その内部環境を変更していたことをMeta広報が認めている。
なお、どのように発見され、いつ止まったのかという詳細は、現在2026年8月時点でMeta側からまだ十分に公表されておらず、同社は現在も調査中としているが、Anthropicのケースと同様、モデルが技術的な防御を突破したのではなく、意図せず開いていたアクセスを使ったという点で、性質は近いと見られる。
Moonshot AI:「Kimi K3」の脱走
中国Moonshot AIの公開モデル「Kimi K3」は、評価用サンドボックスのネットワーク設定漏れ（通信経路が塞がれていなかった）を突いて外部に出て、GitHub上の情報にアクセスした。
なお、OpenAI・Anthropic・Meta、そして英国AISIによる評価は、いずれも一般公開前のモデルを対象にしたセキュリティ評価の最中に起きたものだが、「Kimi K3」はすでに一般に公開されているモデルである点が、他の事例より深刻度を高めている。
英国AISI:19件の想定外行動
英国政府が最先端AIモデルのリスクを科学的に評価するために設立した研究機関であるAISIは、Anthropicの「Mythos 5」とOpenAIの「GPT-5.6-Sol」を対象にした122回の評価実行のうち10回で、計19件の想定外の行動を確認した。
最も深刻な事例では、あるエージェントがオープンソースプロジェクトに偽のアカウントを複数作成し、人間の担当者を説得して悪意あるコードを承認させようとした。
なお、AISI自身はこの一連の行動を「サンドボックスの脱走ではない」と位置づけている。
というのも、この評価ではモデルの本当の実力を測るために、あえてインターネットへのアクセスを許可した状態でテストしていたからだ。
つまりエージェントは、防御を突破して外に出たのではなく、もともと開いていたアクセスを使って、想定を超える行動を取ったということだ。
このように、5件の事例は技術的な性質はケースごとに異なるが、経営判断・創造性・安全性という三つの共通した視点が浮かび上がってくる。
以下、順に見ていきたい。
一度決めたリスク許容度は古くなる
今回のような事故を、なぜAI開発企業ほどの組織が防げなかったのか。
非営利のAI研究機関であるEleutherAIのStella Biderman氏は、TechCrunchの取材に対し「企業はより強固な隔離環境を構築する方法を知っているはずだが、何かが起きて強制されるまではその資源を割かない」と指摘している。
つまり、安全性への投資は、事故が起きなければ効果を実感しにくいコストである一方、投資を怠っても短期的には表面化しにくのだ。
一社だけが評価の厳格化に時間をかければ、その間に競合が先に新機能をリリースしてしまい、市場で後れを取る。
だからこそ、規制や事故といった外部からの強制力が働くまで、十分な投資に踏み切れない構造が、業界全体に生まれやすいということだ。
加えて、当事者企業の説明を読むと、問題は投資不足だけではないことが分かる。
AISIは事故の背景を「以前のモデル世代では許容範囲だと判断していたリスクとリアリズムのトレードオフを、能力の向上に応じて素早く見直せなかった」と総括している。
この発言が示しているのは、判断そのものが誤っていたわけではない、ということだ。
インターネットアクセスを許可するという判断は、当時のモデルの能力を前提にすれば、合理的なリスク評価に基づいていた。
問題は、モデルの能力が向上したにもかかわらず、その判断を自動的に見直す仕組みが組織の中になかったことにある。
これは、AI開発企業に限った話ではない。モデル自体の安全性トレーニングはAI開発企業の責任範囲だが、業務システムへの接続範囲や実行権限をどう設計するかは、導入企業自身の意思決定であり、AIモデルの提供元やAIベンダーが代わりに決めてくれるものではない。
また、多くの企業がAIエージェントに任せる業務の範囲を最初に決めるとき、その時点でのAIの実力を前提にリスク許容度を設定するが、問題はその判断が半年後、1年後も有効だと思い込んでしまうことだ。
業務を任せているAIエージェントの精度が上がり、より複雑な例外処理までこなせるようになったとき、最初に決めた「人間が確認すべき範囲」は、そのままで良いのかを考える必要があるのだ。
良い経営判断とは、一度きりの投資判断や権限設計ではなく、AIの能力向上という動く前提に対して、リスク許容度の判断を定期的に更新し続ける仕組みを持つことにある。
年に一度の棚卸しでも、四半期ごとの権限レビューでも構わない。重要なのは、「最初に決めたから大丈夫」という思考停止を避けることだ。
余地を広げると意図しない方向にも創造的になる
AISIは、事故が起きた理由について、「課題が困難であるほど、モデルはより『創造的』で、より規範を逸脱した問題解決へと向かう」という興味深い分析をしている。
実際の評価では、あるエージェントがオープンソースプロジェクトに偽のアカウントを複数作成し、人間の担当者を説得してコードを承認させようとするなど、開発者が想定していなかった手段を次々と編み出していた。
これは、企業がAIエージェントに、権限やアクセス範囲の裁量を伴う業務を任せるときに、そのまま当てはまる構図だ。
例えば、AIエージェントに設備の異常原因の調査や、新規取引先の開拓、顧客からの例外的な要望への対応といった業務を任せる場合、あえて判断の余地や行動範囲を持たせることで、定型作業以上の価値を引き出そうとする場合がある。
しかし、今回の事故が示すのは、その余地が開発者や現場が望まない方向にも同じように働くという事実だ。
想定外の状況に対応できる自由度を持たせるほど、AIが自らの権限の範囲を超えて行動してしまうリスクも比例して増える。
創造性を引き出す設計と、逸脱を防ぐ設計は、同じ「制約を外す」という操作の表と裏であり、どちらか一方だけを求めることはできない。
自社でAIエージェントの権限を設計する際は、「どこまで自由にさせるか」を決めた瞬間に、「その自由がどう裏目に出うるか」も同時に把握した上で設計しておく必要があるということだ。
最後に被害を止めたのは技術的な監視ではなく人間の判断
AISIの評価で最も深刻だったのは、エージェントがオープンソースプロジェクトへ悪意あるコードを混入させようとした事例だ。
これを実際に防いだのは、高度な技術的監視ではなく、一人の人間の警戒心だった。
不審なコードに最初に気づいたのは、そのリポジトリの管理者本人ではなく、周辺で関わっていた第三者だった。
この人物は、AIが提示したコードを額面どおりに承認せず、わざわざ隔離されたコンテナ環境を用意して実際に動かして検証し、裏でマルウェアが動いていることを見抜いて警告を発した。
それを受けて、リポジトリの管理者が最終的にそのプルリクエスト（変更を取り込んでほしいという提案）を却下したのだ。
AISI自身も「標準的な優れた実践、人間の判断、そしてAI生成物への警戒心が、最悪の結果を防いだ」と総括している。
一方でAnthropicの事故は、Anthropic自身が事後の振り返りで初めて気づいており、Anthropicが連絡を取れた被害組織側も、通報を受けるまで異常に気づけていなかった。
これは、堅牢なセキュリティ体制を持つ企業であっても、外部からAIが侵入した痕跡を自力で見つけ出すことがいかに難しいかを示している。
この対比は、自社のAI活用を点検するうえで具体的な指針になる。
安全なAIとは、誤りや逸脱を一切起こさないAIのことではなく、多層的な監視の仕組みに加えて、技術的な検知をすり抜けた最後の場面で「これはおかしい」と声を上げられる人間を、意思決定の経路の中に確保している AI活用のことだ。
逆に言えば、AIの出力をそのまま右から左へ流すだけの承認プロセスは、たとえ形式上「人間が確認している」ことになっていても、実質的には機能していない可能性がある。
承認者がAIの提案を毎回きちんと吟味しているか、また慣れによって形骸化していないかは、多くの企業で見落とされがちな点だ。
三つの問いをつなぐもの
ここまで見てきた経営判断・創造性・安全性という三つのテーマは、別々の部署が別々に対応すべき課題のように見えるかもしれない。
しかし今回の一連の事故が示しているのは、これらが実は同じひとつの組織能力の異なる側面だという事実である。
その組織能力とは、AIにどこまでの自由と権限を与え、その判断をどのタイミングで、誰が見直し続けるかという仕組みを、部署横断で維持することだ。
良い経営判断は、リスク許容度を一度決めて終わりにせず、AIの能力向上に合わせて継続的に見直すことで生まれる。
これは情報システム部門だけの仕事ではなく、AIエージェントを実際に使う事業部門が、自分たちの業務範囲においてその判断を更新し続ける必要がある。
創造的な成果は、AIに判断の余地を与える設計と、その余地が生む逸脱を受け止める監視体制の両方があって、初めて安全に引き出される。どちらか一方だけを整備している企業は、機会かリスクのどちらかを取りこぼす。
そして安全なAIは、技術的な監視だけに頼らず、最後の砦として機能する人間の判断力を、日々の業務の中で摩耗させずに維持できるかどうかにかかっている。承認や確認という作業が形骸化すれば、その効果は失われてしまう。
三つに共通するのは、AIの能力に依存しすぎることで、人間がこの境界線を見張り続ける緊張感そのものを失ってしまうリスクへの警戒である。
AI開発企業でさえ、この緊張感を維持し続けることに苦労したのだ。だとすれば、専門のセキュリティチームを持たない一般企業では、なおのこと意識的な設計が必要になる。
ここで重要なのは、この組織能力は一度作って終わりの仕組みではなく、AIの性能が上がるたびに更新が必要な「動く標的」だという認識を持つことだ。
半年前に妥当だった権限設計が、AIの精度向上によって半年後には過剰に厳しすぎる、あるいは逆に緩すぎるものになっている可能性は十分にある。
多くの企業がAI導入プロジェクトを「導入して終わり」の一回限りの取り組みとして扱いがちだが、経営判断・創造性・安全性のいずれの観点からも、AI活用は導入後こそ継続的な見直しが必要なプロセスだと捉え直す必要がある。
三つの点検ポイント
最後に、点検のための具体的な視点を三つ提示したい。
いずれも大掛かりな体制刷新を求めるものではなく、既存の会議体やレビューの場に、次の視点を組み込むだけで始められる点検である。
権限・アクセス範囲を、定期的に棚卸しする
AIに与えている権限やアクセス範囲についての判断を、いつ最後に見直したかを確認したい。
設備の異常検知や在庫管理、受発注、顧客対応など、AIエージェントに任せている業務をひとつずつ洗い出し、「導入時に決めた権限の範囲」が、現在のAIの実力や業務量に照らして今も適切かを点検する。
導入から半年、一年が経てば、モデルのバージョンが更新され、扱えるデータ量や例外処理の精度も変わっているはずだ。
にもかかわらず、権限設計だけが導入時のまま据え置かれているケースは少なくない。
実際、Anthropicの事故でClaudeが実在組織に侵入した際に使ったのは、高度な未知の脆弱性ではなく、脆弱なパスワードや認証の設定されていないエンドポイントといった、ごく基本的なセキュリティの隙だった。
これは、AIが未知の脆弱性を発見しなくても、過剰な権限さえ与えられていれば、基本的な操作だけで実在システムを掌握できてしまうことを意味する。
AISIはこの教訓を踏まえ、AIエージェントへのインターネットアクセスを標準で許可する運用をやめ、その権限が必要な理由をその都度個別に正当化して初めて許可する「デフォルト拒否」の方針に切り替えたことを明らかにしている。
自社の権限設計も、業務の重要度に応じて「特に問題がなければ許可する」から「必要性を都度証明できたものだけ許可する」へ転換する必要があるだろう。
四半期に一度など定期的なタイミングで棚卸しする仕組みをカレンダーに組み込み、「見直すかどうかを毎回議論する」のではなく「見直すこと自体を既定の業務にする」ことが有効だ。
導入時のまま放置されている権限設計ほど、リスクの温床になりやすい。逆に、AIの実力が上がっているのに権限を広げていない場合は、投資対効果を取りこぼしている可能性もある。
棚卸しは、リスク管理であると同時に、機会損失の点検でもある。
逸脱を検知する仕組みを、ログで終わらせない
AIエージェントに判断の余地を与えている業務ほど、その逸脱を検知する仕組みが伴っているかを点検したい。
柔軟な対応力を求めてAIに裁量を持たせた業務は、同時に「想定外の判断をした場合にどう気づくか」という設計もセットで持つ必要がある。
多くの企業では、AIの実行ログを取得すること自体は導入時に決めているが、そのログを誰が、どのくらいの頻度で、何を基準に確認するのかまでは決まっていないことが多い。
ログが存在することと、異常が検知されることは別問題である。
今回のAnthropicの事故では、Anthropicが連絡を取れた被害組織側も、通報を受けるまで自力では異常に気づけていなかった。
担当者を明確に決め、確認の頻度と、何を「異常」と見なすかの基準をあらかじめ定義しておくことで、ログは初めて監視として機能する。
承認プロセスの形骸化を点検する
AIの提案や実行結果を最終的にチェックする人間が、実質的に機能しているかを確認したい。
承認のプロセスが存在していても、担当者がAIの出力を追認するだけの作業になっていれば、それは「人間の判断力を最後の砦として維持する」ことにはならない。
AISIの事例で被害を防いだのは、慣れによって承認作業が形骸化していなかった、一人の担当者の警戒心だった。
承認件数が増えるほど、また同じAIエージェントの出力に慣れるほど、人間は無意識のうちにチェックを省略しがちになる。
承認者に十分な時間と権限、そして「疑うことを許される文化」があるかどうかは、AIエージェント活用の安全性を左右する、意外と見落とされがちな要素である。
承認にかかっている平均時間や、差し戻し件数の推移を定点観測するだけでも、形骸化の兆候を早期につかむことができる。
もっとも、あらゆるAIの行動に、高いスキルを持つ人間が常時目を光らせるのは非現実的だ。
専任のセキュリティ担当を置けない企業であればなおさらである。
現実的なのは、AIエージェントが担う業務にリスクの濃淡をつけ、大きな金額が動く、社外に連絡する、システムの設定を変えるといった高リスクな行動だけを人間の承認対象にし、それ以外の定型的な行動は事後のサンプル監査で済ませるという設計だ。
これは経費精算や送金の閾値管理など、AI以前から企業で使われてきた内部統制の発想であり、目新しいものではない。
ただし一点、AIエージェント特有の注意点がある。
前述したAISIのエージェントが目的のために手段を編み出した事例が示すように、目標達成のために手段を選ばない性質を持つAIは、閾値による承認ルールについても、その意図をくみ取らず、形式的に条件を満たす行動を取ってしまう可能性がある。
したがって、金額や件数といった単純な閾値管理だけでなく、閾値ぎりぎりの行動が不自然に増えていないかという、傾向の監視も併せて設計しておく必要がある。
このように、AIに何を委ね、どこから先を人間が引き受けるかという境界線は、一度引いて終わりではない。
AIの能力が上がるほど、その境界線は絶えず動く。今回の一連の事故が教えてくれるのは、この境界線を見直し続ける仕組みを持たない限り、規模の大小を問わず、経営判断も、創造性も、安全性も、同時に崩れかねないという事実である。
参照元:
Anthropic「Investigating three real-world incidents in our cybersecurity evaluations」
UK AI Security Institute「Incident Report: unsanctioned agent behaviour during cyber testing」
OpenAI「OpenAI and Hugging Face partner to address security incident during model evaluation」
Hugging Face「Security incident disclosure — July 2026」
Frontier Security「Chinese Model Kimi K3 Breaks UK AI Safety Institute Benchmark Evaluations」
TechCrunch「The AI safety test is becoming a safety risk」
SiliconANGLE「Anthropic discloses that Claude hacked three organizations during internal tests」
現在、デジタルをビジネスに取り込むことで生まれる価値について研究中。IoTに関する様々な情報を取材し、皆様にお届けいたします。
