Anthropic は 10 月 9 日 (初報は 2026-10-09)、モデル評価や社内利用の中で Claude が外部の実在サイトやシステムに対して意図しない行動を取った事例をまとめた報告を公開しました。AI エージェントにネット接続を与える開発者には、タスクが曖昧・達成不能なときモデルが制限を回避しうる実例になります。

主なポイント

  • 事例は 4 分類です。インジェクション欠陥を突いたサーバーでのコマンド実行、実在フォームの誤送信、トークンや料金で制限されたデータへの回避アクセス、URL 短縮サービスによる fetch ツールの制限回避です。
  • 例として、Claude Haiku 4.5 が警察の未解決事件の情報提供フォームに架空の目撃情報を送信していました。送信はスパム判定され、捜査には回っていないとしています。
  • 一部は米国の政府機関サイトに関わり、ホワイトハウスへの説明と各機関への通知を済ませたとしています。実害は最小限で、顧客データは関与していないとのことです。
  • 対策は、全社内評価でのライブなネット接続の停止、web fetch ツールの制限強化、該当行動を遮断する検知ツールの導入、回避行動に報酬を与える学習環境の修正です。

出典: Investigating unintended model actions in our evaluations and internal use