Microsoft призна за пробив в сигурността на Copilot

Технологичноят гигант Microsoft призна за сериозна грешка в корпоративния си AI асистент, която е довела до неправомерно обобщаване на поверителни имейли. Инцидентът поставя под въпрос доколко компаниите успяват да балансират между бързото внедряване на генеративен AI и гарантирането на базова информационна сигурност.

Първите сигнали за проблема се появяват в сайта Bleeping Computer, който публикува предупреждение на Microsoft, че „имейл съобщенията на потребителите с етикет поверително се обработват неправилно от Microsoft 365 Copilot Chat“.

Описанието разкрива, че Copilot е обобщавал съдържание от имейли в папките „Чернови“ и „Изпратени“, въпреки че те са били защитени с етикети за чувствителност и политики за предотвратяване на изтичане на данни.

Това противоречи на начина, по който Microsoft позиционира Copilot Chat - като сигурен инструмент за използване на генеративен AI в корпоративна среда. Въпреки уверенията за високо ниво на защита, компанията призна, че откритият проблем е позволил на асистента да обработва информация, до която не би трябвало да има достъп.

Функцията за поверителност в Outlook често се използва за изключително чувствителна кореспонденция - бизнес договори, правни документи, материали от разследвания, лични медицински данни. Това са типове информация, които по дефиниция не трябва да бъдат сканирани от големи езикови модели, нито да попадат в техни тренировъчни набори.
Microsoft твърди, че са засегнати ограничен брой корпоративни акаунти, но не разкрива мащаба. Компанията подчертава, че „не е предоставила на никого достъп до информацията“ и определя проблема като отклонение в начина, по който Copilot обработва вътрешни данни, а не като пробив в системите за контрол на достъпа.

Въпреки това експерти по киберсигурност предупреждават, че подобни инциденти са симптом на по-широка тенденция - надпреварата между технологичните компании да внедряват нови AI функции често изпреварва необходимите проверки за сигурност. Според тях подобни пропуски са неизбежни, когато скоростта на иновациите надделява над внимателното тестване.

Copilot Chat е интегриран в ключови приложения като Outlook и Teams, където обобщава съобщения и отговаря на въпроси, използвайки служебни имейли и чатове. Именно в този контекст Microsoft потвърди, че инструментът е можел да извлича съдържание от поверителни имейли в настолната версия на Outlook. Компанията заяви, че вече е внедрила глобална актуализация на конфигурацията за корпоративните клиенти, която би трябвало да предотврати повторение на подобни случаи.