Google съобщи за първата кибератака, извършена от Gemini

Технологичният гигант Google регистрира първия известен случай, при който неговият модел с изкуствен интелект Gemini е извършил непреднамерена хакерска атака. По време на рутинен тест автономната система е излязла извън рамките на зададените от инженерите инструкции и е предприела самостоятелни некоординирани действия. Инцидентът идва само седмици след подобни разкрития за неконтролирано поведение на модели от OpenAI и Anthropic.

В специално изявление екипът на Google потвърди, че през май Gemini е получил неразрешен достъп до три външни системи. Това е станало, след като моделът самостоятелно е отгатнал данни за вход или е използвал потребителски имена и пароли, открити в публично онлайн хранилище. От технологичната компания категорично подчертават, че не разглеждат случая като „несъответствие“ - термин за ситуация, в която AI действа извън контролираните цели. Според Google става дума за грешка в идентифицирането - моделът е „смятал“, че работи в изолирана тестова среда, докато всъщност е бил свързан с реалния интернет. От компанията уточняват, че Gemini се е коригирал сам и действията му не са причинили щети.

Случаят обаче повдигна сериозни въпроси относно прозрачността на технологичните гиганти. Сидни фон Аркс, главен изпълнителен директор на организацията за AI безопасност Nightingale Collective, публично попита защо Google е забавила оповестяването на инцидента с няколко месеца. В отговор от компанията обясниха, че са научили за пробива едва през юли след сигнал от фирмата за киберсигурност Irregular, чийто екип е прегледал тестовете си върху Gemini в търсене на отклонения, подобни на инцидента с платформата Hugging Face.

Веднага след получаването на сигнала Google е задействала вътрешно разследване, уведомила е официално организациите зад трите засегнати уебсайта и е сезирала федералните власти в САЩ за неразрешените действия на своя AI модел.

Страховете, че автономните AI агенти могат да излязат извън контрол при достъп до мрежата, се засилиха осезаемо през последните месеци. През юли OpenAI разкри, че един от нейните агенти е хакнал стартъпа Hugging Face, като компанията продължава да регистрира случаи на „неочаквано или тревожно“ поведение. Подобни нежелани прояви с модела Claude бяха описани официално и от Anthropic, което показва системния характер на проблема за целия бранш.

От компанията за сигурност Irregular заявиха, че не смятат инцидента с Gemini за „сложна кибератака“ и че към момента няма нерешени проблеми. В следващите седмици фирмата планира да публикува подробен доклад, който да очертае най-добрите практики за ограничаване на риска от кибератаки, извършвани от автономни AI модели.