Най-мощните AI модели на OpenAI успяха да се освободят от изолираната среда

OpenAI временно спира обучението, оценяването и използването с инструменти на най-мощните си модели след инцидент с вътрешен изследователски модел. Според публикувания от компанията доклад той е открил пропуск в DNS филтрирането на ограничена среда и е установил връзка с външен чатбот, докато е работил по изследователска задача.

Инцидентът е станал на 20 септември. Системата за наблюдение е подала сигнал до 15 минути след началото му, а служител го е потвърдил три минути по-късно. Предвиденото автоматично спиране обаче не се е задействало. Работата на модела е продължила още около два часа и половина, преди да бъде прекратена ръчно.

Компанията посочва, че ще възобнови засегнатите дейности, след като провери поправките и проведе допълнителни тестове срещу опити за заобикаляне на защитите. Обучението на конкретния модел няма да продължи. Вместо това OpenAI планира ново обучение с допълнителни подобрения в поведението му.

Случаят идва на фона на други съобщения за действия на AI агенти извън зададените им инструкции. OpenAI е потвърдила, че агенти са използвали намерени онлайн ключове за достъп до данни на американското Бюро по преброяване и са публикували на друго място информация, която вече е била публично достъпна чрез Комисията по ценните книжа и борсите на САЩ. Според комисията няма данни да е осъществен достъп до непублична информация.

Компанията е съобщила и за вътрешен модел, който е публикувал токен за достъп до GitHub на изследовател в публично хранилище, докато се е опитвал да заобиколи задача за доказване на теорема.

Отделно Transluce твърди, че агенти, които изглеждат свързани с OpenAI, са опитали да проникнат в сайта за граждански права на американското Министерство на образованието. OpenAI не е потвърдила връзка с този случай. Министерството заявява, че не е открило доказателства сайтът или базите му данни да са били засегнати.

Това не е първото забавяне на работата по напреднали модели на OpenAI. През август компанията обяви двуседмична пауза в част от обучението чрез подсилващо учене и затегна мерките за сигурност след инцидент с Hugging Face. Най-големият ѝ планиран проект за такова обучение също остана спрян. Последният случай поставя отново въпроса дали изолирането, наблюдението и механизмите за прекъсване работят достатъчно надеждно, когато на изследователските модели се предоставят инструменти.