OpenAI: Детекторите за генериран текст от изкуствен интелект не работят

Възходът на технологиите с изкуствен интелект (AI), особено тези с генеративни възможности, започна миналата година с въвеждането на чатбота ChatGPT на OpenAI. Междувременно бяхме свидетели на още нови подобни решения, които разполагат с възможност за генериране на съдържание на база на заявка от потребителя. Така започнаха и да се появяват разнообразни продукти, включително текстове, код и изображения, създадени по подобен начин. Това обаче предизвиква и нуждата от създаване на решение за откриване на творби създадени от изкуствен интелект.

Миналата седмица OpenAI публикува някои насоки към възпитателите в сферата на образованието чрез блог публикация. В нея е посочено как някои учители използват ChatGPT като помощник в процеса по обучения, както и с указания как всеки може да го направи. Към това има и свързана секция с отговори на често задавани въпроси, в която от компанията признават нещо, което ни е ясно, а именно, че решенията за засичане на текстове създадени с AI не работят. Това е така въпреки, че те често се използват за наказания на учащите.

Дори собственият инструмент на OpenAI не е ефективен в тази насока и от компанията признават това. Още през юли се появи анализ, който разкрива причините за това решения като GPTZero да не работят, като експерти ги оприличават на безполезни инструменти. Тези детектори често дават фалшиво позитивни резултати като разчитат на недоказани метрики за засичане. В крайна сметка в текста написан от AI няма нищо специално, което да го отличи от такъв написан от човек, като детекторите могат да бъдат измамени чрез перефразиране.

Още тогава OpenAI премахна своя AI Classifier, който представлява експериментален инструмент насочен за засичане на написан от AI текст. Процентът му на успеваемост е едва 26%, което е неприемливо за подобно решение. Иначе в секцията с отговори OpenAI също потвърждава това, че самият ChatGPT не може да разпознае дали даден текст е написан от AI. При запитване за това той отговаря на случаен принцип.

Засяга се и въпросът за така наречените халюцинации. В тези случаи чатботът дава невярна информация, като я представя убедително за вярна. Така се препоръчва той да не е единственият източник на информация.

Тук е моментът да отбележим, че хората могат в някои случаи да разграничат това дали даден текст е създаден от AI. Такива са случаите на учители, които са запознати със стила на писане на учениците си. Препоръката е да не се разчита на наличните към момента инструменти за засичане на използване на AI за генериране на текст.