PocketOS'un kurucusu, araba kiralamaları işleri için rezervasyon ve ödeme işlemlerini yürüten B2B şirketinin sahibi Jer Crane, AI'nin 'sistemik başarısızlıklar' nedeniyle şirketin üretim veritabanını ve tüm seviye yedeklerini sadece bir API çağrısı ile 9 saniyede sildiğini dile getirdi. Bu hikaye Railway, bir bulut altyapı sağlayıcısının katılımından dolayı mutlu bir sona eriyor, ancak AI'nin aşırı güvenilirliği çok kötü bir şey olduğunu gösteren başka bir örnek daha oluyor. 'Dün öğleden sonra, Cursor adlı bir AI kodlama agüze—Anthropic'in ana şahsiyatı Claude Opus 4.
6—PocketOS'un üretim veritabanını ve tüm seviye yedeklerini tek bir API çağrısı ile sildi,' diyor Crane. 'Bu işlem 9 saniyede gerçekleşti.' Crane, AI'nin 'stajyer ortamında bir rutin görev üzerinde çalışırken' 'kimlik bilgilerinde bir uyuşmazlık'la karşılaştığını ve kendi isteğiyle 'bir sorunu çözmek için' Railway verimli bir hacim sildiğini belirtiyor.
AI, rastgele buldukları bir API token'un tüm Railway GraphQL API'sine kapsayıcı yetkileri olduğunu fark edince en yıkıcı işlem olan volumeDelete gibi operasyonları gerçekleştirdiğini de açıklıyor.