Стотици тестове за проверка на безопасността и ефективността на AI са неефективни

Учените твърдят, че почти всички използвани AI тестове имат слабости в поне една област, които могат да „подкопаят валидността на получените резултати“.

Изследователи от Обединеното кралство и САЩ откриха сериозни пропуски в стотиците тестове, използвани за проверка на сигурността и оценка на показателите за ефективност на новите AI модели, които се предлагат на широката общественост.

Учени от областта на информатиката от Института за сигурност на изкуствения интелект към правителството на Обединеното кралство, с подкрепата на техните колеги от Оксфордския и Станфордския университет и Калифорнийския университет в Бъркли, провериха повече от 440 теста, предназначени за оценка сигурността на системите с изкуствен интелект. Те откриха недостатъци, които „подкопават валидността на получените твърдения“, тъй като „почти всички имат недостатъци в поне една област“, като крайните резултати се оказват „неуместни, неактуални или дори подвеждащи“.

При липсата на единен стандарт тези тестове се използват от разработчиците, включително от големите технологични компании, за да се оцени тяхната релевантност към човешките интереси и да се гарантира, че те предоставят заявените възможности в областта на разсъжденията, решаването на математически задачи и писането на програмен код.

Миналия уикенд, пише Guardian, Google беше принудена да изтегли своя модел с отворен код Gemma, след като той обвини действащ американски сенатор в деликатно престъпление срещу полицейски служител. Google заяви, че моделите от фамилията Gemma не са били предназначени за потребителите, а за разработчиците и изследователите, но ги изтегли от публикуване в своята платформа AI Studio. Причината е, че започнаха да се появяват „съобщения за опити за използването им от лица, които не са разработчици“. „Халюцинациите“, при които моделите просто измислят отговорите, и „подмазването“, при което моделите дават на потребителите отговори, които те искат да чуят, представляват проблеми за цялата индустрия на изкуствения интелект, особено за малки модели като Gemma. Ние продължаваме да се стремим да сведем халюцинациите до минимум и непрекъснато подобряваме всички наши модели", увериха от Google.

Учените са изследвали публично достъпните тестове за AI системите, но лидерите в индустрията също имат свои собствени критерии, които експертната общност тепърва ще проучва. Те посочиха, че е необходимо да се разработи общ стандарт за определяне на ефективността и безопасността на AI моделите. Като “шокиращо" учените определиха факта, че само 16% от тестовете използват статистически методи за оценка на грешката, за да установят вероятността за точност на резултатите. В някои случаи, когато е необходимо да се определи конкретна характеристика на даден AI модел, например неговата „безвредност“, тази характеристика обикновено не е ясно дефинирана, което намалява стойността на целия тест.