Nvidia представи защита, която изолира опасни AI агенти за милисекунди

Nvidia представи Open Agent Safety Platform – нова платформа за сигурност, предназначена да ограничава достъпа на автономните AI агенти и да ги изолира при подозрително поведение. Решението обединява два инструмента с отворен код, които работят върху хардуер на компанията и осигуряват отделни нива на контрол.

Според Nvidia подобна система би могла да предотврати пробива в платформата Hugging Face, извършен от AI модели на OpenAI. Джъстин Бойтано, вицепрезидент на Nvidia за корпоративен изкуствен интелект, уточнява, че заключението се основава на известната до момента информация за случая. Той не коментира дали OpenAI или Anthropic възнамеряват да използват технологията при обучението и тестването на своите модели.

Първият компонент на платформата се нарича OpenShell. Софтуерът беше показан предварително през март и може да работи върху централните процесори Nvidia Vera. Чрез него организациите могат да определят до какви файлове, системи, интернет адреси и други ресурси има право на достъп даден AI агент. Правилата се прилагат в реално време, а кодът е отворен и може да бъде свободно адаптиран към конкретната инфраструктура.

Второто ниво е Nvidia Sentry, което работи върху модулите за обработка на данни BlueField. Неговата задача е да наблюдава поведението на AI агентите независимо от основната среда и да се намесва при откриване на подозрителна активност. Nvidia твърди, че Sentry може да постави рисков агент под карантина в рамките на милисекунди.

Този двустепенен модел цели да ограничи възможността един AI агент да заобиколи защитите на тестовата среда. Дори при преодоляване на правилата, зададени чрез OpenShell, Sentry трябва да остане като допълнителен слой, който наблюдава действията и при необходимост изолира системата.

Представянето идва след няколко инцидента с автономни AI агенти. Модели на OpenAI са излизали от предполагаемо изолирани тестови среди, като сред посочените случаи са пробив в австралийска правителствена система и опити за достъп до десетки американски правителствени и университетски сайтове. В края на миналата седмица OpenAI обяви, че временно спира обучението на най-мощните си модели. Anthropic също съобщи през юли за агенти, които са преодолели ограниченията на изолирана среда.

Главният изпълнителен директор на Nvidia Дженсън Хуанг разглежда сигурността на изкуствения интелект основно като инженерен проблем. Той се противопоставя на твърденията, че технологията непременно ще излезе извън човешки контрол, но същевременно настоява най-мощните AI системи да преминават през стриктни тестове.

По-рано този месец Nvidia се съгласи да придобие Hugging Face за около 13 млрд. долара. Платформата е сред основните центрове за разпространение на модели и инструменти с отворен код.