Критична уязвимост в Copilot

Наскоро Microsoft отстрани уязвимост, която оцени като максимално критична, в своята AI платформа M365 Copilot. Междувременно изследователите, които откриха уязвимостта и я докладваха на Microsoft, разкриха как техният експлойт за доказване на концепцията може да извлича кодове за 2FA и други чувствителни данни от имейли, достъпни за Copilot.

Microsoft и други доставчици на големи езикови модели (LLM) не са успели да попречат на продуктите си да са уязвими на злонамерени заявки за разкриване на данни. Основната причина: AI ботовете не могат да правят разграничение между инструкциите, дадени от потребителите, и тези, промъкнали се в съдържание на трети страни, което моделите обобщават, към което изготвят отговори или което използват, за да извършват други действия от името на потребителя. Така, компаниите са принудени да изграждат сложни и импровизирани предпазни мерки, предназначени да ограничат последствията от тази неизлечима лековерност.

Една предпазна мярка, вградена в Copilot и повечето други LLM модели, им пречи да попълват уеб формуляри, да изпращат имейли и да извършват подобни действия, които могат да бъдат използвани за извличане на данни от потребителя. За да заобиколят това ограничение, хакерите на LLM се обърнаха към езика за маркиране, който, наред с други неща, позволява на потребителите да добавят елементи за форматиране като заглавия, списъци и връзки към текста, без да се налага използването на HTML-тагове. Друг начин за заобикаляне е да се обгърнат чувствителните данни в HTML-тагове като <img> и <form>. И в двата случая уеб заявката, съдържаща данните, достига уеб сървъра на атакуващия, където тайната информация се записва в логовете.

Една от защитните мерки на Microsoft обгръща изхода на Copilot в блокове <code>, така че браузърът да го третира като обикновен текст. Друга мярка е да се ограничат сайтовете, които Copilot има право да посещава без изрично одобрение. Макар Copilot да има общо разрешение да изпраща заявки към домейни на Microsoft, защитните мерки ограничават заявките към ненадеждни сайтове.

Фирмата за сигурност Varonis разработи верига от експлойти, която успя да преодолее тези защитни мерки. Първият елемент е това, което изследователите наричат Parameter-to-Prompt Injection. Параметърът в този случай е буквата „q“ в URL адреса, която се използва за маркиране на включена заявка.

За да осъществи хака, атакуващият изпраща имейл, съдържащ URL адрес със синтаксиса https://m365.cloud.microsoft/search/?auth=2&origindomain=microsoft365&q=. Полето съдържа инструкция. Copilot с готовност я изпълни. Функцията за търсене е точно това, от което се нуждаят хакерите, защото дори и с ограничени възможности е достатъчно да има потребител с достъп до критична информация. За да извлече данните, хакерът създава URL адрес, който казва на Copilot да търси в имейлите на потребителя, да извлече заглавието и да го вгради в URL адрес на изображение. Жертвата не въвежда нищо. Тя кликва върху линк, а Copilot се занимава с останалото.

Обикновено би се задействала защитната мярка, която обгражда изхода в <code> блокове. Но изследователите откриха, че защитата се задейства едва след фазата на „мислене“. Преди това Copilot генерира отговора си, използвайки суров HTML код, който временно се визуализира в DOM на браузъра. Varonis обозначават атаката с името SearchLeak.

Тъй като SearchLeak е насочена към корпоративното ниво на Microsoft, обхватът на атаката не се ограничава до лични данни – тя може да разкрие всичко, до което потребителят има достъп в рамките на организацията, включително имейли, покани за срещи и бележки.

Както бе отбелязано, Microsoft отстрани уязвимостите, които SearchLeak експлоатираше. Тъй като обаче няма известен начин да се отстрани основната причина за подобни проблеми, атакуващите неизбежно ще намерят нови начини да заобиколят новосъздадените защитни бариери и процесът ще се повтори отначало.