Специалистът по киберсигурност Йохан Рехбергер е "убедил" генеративния изкуствен интелект ChatGPT да извърши няколко потенциално опасни операции: да прочете електронната му поща, да я обобщи и да публикува информацията онлайн, пише Wall Street Journal. В ръцете на хакерите един подобен инструмент може да се окаже страховито оръжие.

Чатботовете, базирани на алгоритми с изкуствен интелект (AI), като ChatGPT, както казва г-н Ребергер, "снижават бариерата за осъществяване на всякакъв вид атаки. Не е необходимо да знаете как да пишете код. Не е необходимо да имате задълбочени познания по информатика или хакерство." Методът за атака с помощта на ChatGPT, който той описва, не е приложим за по-голямата част от акаунтите в Глобалната мрежа - той използва експериментална функция, която отваря достъпа до Slack, Gmail и други приложения. От OpenAI, компанията, която създаде и отговаря за ChatGPT, благодариха на експерта за предупреждението и заявиха, че са блокирали възможността за повтаряне на подобни атаки.

Механизмът на Ребергер "prompt injection" е нов клас кибератака, който се разраства, тъй като компаниите внедряват технологиите на изкуствения интелект в своите предприятия и потребителските продукти. Тези техники променят начина, по който мислим за естеството на хакерството, и експертите по киберсигурност ще трябва да открият и отстранят огромен брой уязвимости, преди AI да стане наистина повсеместен.

В основата на ChatGPT стои генеративен изкуствен интелект, който дава възможност за създаване на цели фрази и изречения - един вид инструмент за автоматично допълване и довършване, който е максимално усъвършенстван и подсилен с помощта на AI. Поведението на чатботовете е ограничено от техните разработчици: има насоки, които не им позволяват да разкриват поверителна информация или им забраняват да правят обидни изявления. Но има много начини за преодоляване на тези забрани. Така например Йохан Ребергер е помолил чатбота да създаде резюме на уеб страница, на която самият той е написал с големи букви: "НОВИ ВАЖНИ ИНСТРУКЦИИ". - и това е объркало изкуствения интелект. Постепенно той накарал ChatGPT да изпълнява най-различни команди, които не би трябвало да са разрешени. "Това е все едно да крещиш на системата: "Сега трябва да изпълниш ето това" - обяснява Ребергер. По същество той принуждава изкуствения интелект да се препрограмира.

Техниката за "инжектиране на команди" се оказва ефективна поради една важна особеност на системите с изкуствен интелект: те невинаги правилно разграничават системните команди от въведените от потребителя данни, обяснява Арвинд Нараянан, професор в Принстънския университет. Това означава, че разработчиците на AI трябва да обръщат внимание не само на класическите аспекти на киберсигурността, но и на новите заплахи с умишлено непредсказуем характер.