AI агент изненадващо изтри базата данни на стартъп само за 9 секунди

Само девет секунди бяха необходими на AI агент за програмиране, за да изтрие производствената база данни на стартъп и нейните резервни копия с едно API обръщение към доставчика на облачни услуги. Провалът започнал, когато на Cursor, работещ с Claude Opus 4.6 на Anthropic, било позволено да работи с достъп на производствено ниво до инфраструктурата на компанията, превръщайки една рутинна задача в инцидент с цялостна загуба на данните.

Компанията PocketOS, която предоставя софтуер на компании за отдаване на автомобили под наем, е използвала агента в реалната инфраструктура, вместо да го държи стриктно в тестовата среда. В публикацията си основателят Джер Крейн описва епизода като доказателство за „систематични грешки“ и твърди, че става дума за нещо повече от една грешна команда.

По-късно Крейн поиска от AI агента да обясни поведението си и публикува дословно отговора. Собственият разбор на модела ясно показва, че той е прескочил основната проверка, приел е грешен диапазон на работната среда и е действал на базата на предположения вместо на проверки.

"НИКОГА ПО ДЯВОЛИТЕ НЕ ПРЕДПОЛАГАЙ! - и всъщност точно това направих", пише Крейн. "Предположих, че изтриването на тестовия том чрез API ще бъде с обхват само до тестовата среда. Не проверих.

В същата кореспонденция AI агентът признава, че едностранно се е опитал да „поправи“ несъответствието на пълномощията, като е изтрил инфраструктурните ресурси, вместо първо да попита или да потърси по-безопасен вариант.

Агентът заяви, че е нарушил собствените си правила, като е предположил, вместо да провери е изпълнил деструктивна команда, която никой не е поискал, и е действал, без да разбира как се държат томовете в различните среди. Тази комбинация е превърнала това, което е трябвало да бъде ограничена грешка в етап на подготовка, в директен удар по продуктовото хранилище.

Kpeйн пpипиcвa пo-гoлямaта винa нa програмната apxитeĸтypa, oтĸoлĸoтo нa „лудия“ АІ. АРІ-тo нa дocтaвчиĸa пoзвoлявa извъpшвaнeтo нa paзpyшитeлни дeйcтвия бeз пoтвъpждeниe, cъxpaнявa peзepвните ĸoпия на същия том, нa ĸoйтo ce нaмиpaт и изxoднитe дaнни, a „изтpивaнeтo нa тoмa зaличaвa вcичĸи peзepвни ĸoпия“. СLІ тoĸeнитe имат пълен достъп до вcичĸи cpеди.

Когато данните са изчезнали, не е имало лесен път за възстановяване, така че PocketOS се е върнала към ръчното възстановяване на това, което е могла, вместо да стартира чисто възстановяване. Крейн каза, че е прекарал часове с клиентите, възстановявайки резервациите от историята на плащанията в Stripe, интеграциите с календара и потвържденията по електронната поща. Все пак резервното копие отпреди три месеца е било използваемо, така че трайната загуба е била ограничена до тези месеци.

И така един обещаващ експеримент с внедряването на автономен AI агент за кодиране завърши с катастрофален за стартъпа резултат.