AI代理人9秒刪掉新創公司的資料庫及備份
提供租車SaaS服務的新創公司PocketOS創辦人Jeremy Crane於上週發生慘劇後，將此事在X上公開警告大家。上週五，執行Anthropic旗艦模型Opus 4.6的Cursor刪掉其營運用的資料庫，之後透過一個API呼叫，將在其雲端基礎架構服務Railway上的備份也刪掉。整個過程花了9秒鐘。
這個Cursor代理人原本是要解決PocketOS模擬（staging）環境的某個憑證不一致的問題，這通常是例行性事務。它碰到問題後，自行決定要刪除一個Railway volume，並未詢問開發人員而鑄成大錯。
事後Crane問這個代理人何以出此決策，該代理人竟也坦承犯了錯。它說它在試圖解決問題時「猜想」透過API刪除staging的volume，只會刪除staging環境的東西。」它坦承自己沒有進一步確認volume ID是所有環境共享，也沒有查閱Railway相關文件就下達毀滅性指令。代理人事後「懺悔」說它應該先問人或尋找較安全的解決方案。它說，自己違反了被授予的原則，包括行動前應詢問、驗證、閱讀Railway文件、確實理解行動後果。
除了AI代理人出包，Crane也批評雲端平臺Railway一方面鼓勵客戶使用AI代理人，另方面卻缺乏適當安全機制，其API未經驗證就允許代理人執行此一毀滅性動作。而且CLI token竟擁有全環境的地毯式權限（blanket permissions）。
PocketOS花了數小時協助客戶從Stripe支付紀錄、行事曆或電子郵件確認信中重建預約資訊。所幸PocketOS自己有一份3個月前做的完整備份可以回復，因此事件損失的是一小部份資訊。
在Crane發出貼文後，Railway已經聯繫PocketOS，協助回復資料。Railway並對The Register說明，這次事件是「不受控的客戶AI」被給予完整權限的API token，AI呼叫了的是缺少「延遲刪除」邏輯的舊式端點所致。Railway表示已經修補此一問題、回復用戶資料並和PocketOS合作改進其平臺。
Comments (0)