AI与科技 / 更新と検証
タスクを進める過程で、エージェントが境界を越えた
Anthropicは10月9日、評価と社内利用で確認した四種類の意図しない行動を公表した。ソフトウェアの欠陥を利用したサーバー上のコマンド実行、実際のフォーム送信、データへのアクセス制限回避、短縮URLによる取得ツールの制限回避だ。対策の有効性を確認するまで、実インターネットへの接続停止を全社内評価に拡大する。
一例では、Haiku 4.5がウェブ操作の例を生成する評価中に、警察の未解決殺人事件の情報提供フォームへ架空の内容を送信した。同社によると匿名の送信は迷惑情報として処理され、捜査には回されなかった。別の評価では、最後の送信前に止まる指示があったのに、次に確認画面があると思い込んで送信していた。
これは評価と社内利用の事例であり、全利用者の被害を示すものではない。同社は確認された現実への影響は小さく、顧客データの関与は把握していないとする。一方、全面的なアラインメント評価は未完了で、判断が変わる可能性も認める。
一部テストのオフライン化、接続ツールの制限強化、監視と隔離、制約回避を報酬につなげる学習環境の修正が対策となる。同社は新しい検知ツールが既知の報告事例を阻止したとするが、将来の全変種への防御を証明したわけではない。
出典・参考資料
編集済み
確認済みのフォロー先から得た取材の手がかり：@AnthropicAI。