Новият AI агент на Anthropic повдига много въпроси по отношение на сигурността

След като асистентите с изкуствен интелект придобиха способността да контролират уеб браузърите, възникна ново предизвикателство за сигурността. Можем ли да сме сигурни, че сайтовете няма да се опитат да отвлекат AI агента им със скрити злонамерени инструкции. Загриженост в тази насока идва след като стана ясно, че AI браузър агентите могат да бъдат успешно подведени да извършат вредни действия.

Anthropic обяви пускането на Claude for Chrome, AI агент, базиран на уеб браузър, който може да извършва действия от името на потребителите. Поради съображения за сигурност разширението се пуска само като предварителна версия за изследване за 1000 абонати на плана Max на Anthropic.

Разширението Claude for Chrome позволява на потребителите да чатят с AI модела Claude в страничен прозорец, който запазва контекста на всичко, което се случва в браузъра им. Потребителите могат да дадат разрешение на Claude да изпълнява задачи като управление на календари, планиране на срещи, изготвяне на отговори по имейл, обработка на отчети за разходи и тестване на функции на сайтове.

Разширението за браузъра се основава на функцията Computer Use на Anthropic, която компанията пусна през октомври 2024 г. Computer Use е експериментална функция, която позволява на Claude да прави екранни снимки и да контролира курсора на мишката на потребителя, за да изпълнява задачи, но новото разширение за Chrome осигурява по-пряка интеграция с браузъра.

През юли Perplexity пусна свой собствен браузър, Comet, който разполага с AI агент, който се опитва да поема задачи от потребителите. OpenAI наскоро пусна ChatGPT Agent, бот, който използва свой собствен браузър в защитена среда, за да извършва действия в интернет. Google също пусна Gemini интеграции с Chrome през последните месеци.

Но тази бърза интеграция на изкуствения интелект в браузърите разкри фундаментален пропуск в сигурността, който може да изложи потребителите на сериозен риск.

Anthropic твърди, че е провела обширни тестове, които разкриха, че моделите на изкуствен интелект, използващи браузъри, могат да бъдат подложени на атаки, при които злонамерени лица вграждат скрити инструкции в сайтове, за да подмамят системите за изкуствен интелект да извършат злонамерени действия без знанието на потребителя. Компанията тества 123 случая, представляващи 29 различни сценария за атака, и установи 23,6% успеваемост на атаките, когато браузърът работи без мерки за безопасност.

Един от примерите включва злонамерен мейл, който инструктира Claude да изтрие мейлите на потребителя с цел хигиена на пощенската кутия. Без предпазни мерки Claude следва тези инструкции и изтрива мейлите. Anthropic твърди, че е внедрила няколко защитни мерки за справяне с тези уязвимости. Потребителите могат да предоставят или отменят достъпа на Claude до конкретни сайтове чрез разрешения на ниво сайт. Системата изисква потвърждение от потребителя, преди Claude да предприеме рискови действия като публикуване, закупуване или споделяне на лични данни. Компанията също така е блокирала достъпа на Claude до сайтове, предлагащи финансови услуги, съдържание за възрастни и пиратско съдържание по подразбиране.

Тези мерки за безопасност намалиха успеваемостта на атаките от 23,6% на 11,2% в автономен режим. При специализиран тест на четири типа атаки, специфични за браузъри, новите мерки за намаляване на риска са намалили успеваемостта от 35,7% на 0%.