Няма спор, че чатботовете вече са част от ежедневието на голям брой хора. Мнозина намират различни начини да ги използват, за да улеснят работата си. А други – за да си спестят писането на курсови работи и есета, които техните университетски преподаватели изискват.

И макар много студенти да си мислят, че преподавателите им не подозират това, грешат. Университетите са съвсем наясно и затова много от тях вече са забранили използването на AI инструменти, но разбира се, някои студенти не се съобразяват с тези правила. И затова университетите въвеждат и системи за засичане на AI помощници и просто самите преподаватели са по-бдителни.

Но оправдани ли са всички тези усилия? Особено като се имат предвид множеството нелепи фактологични грешки, които чатботовете допускат и биват подигравани в интернет за тях? Експерти на Университета на Рийдинг от катедрата за науки по психология и клинични езици са решили да проверят, съобщава Ars technica.

Екипът, ръководен от Питър Скарфи, е създал над 30 профила в университетската студентска платформа, като ги е използвал, за да предава на преподавателите отговори на въпроси и курсови работи – общо 63 на брой по различни предмети и модули, които обхващат трите години за придобиване на бакалавърска степен по психология в университета. Всички предадени отговори и курсови са били генерирани изцяло от ChatGPT без никакво модифициране на съдържанието, но с някои леки промени във форматирането на по-дългите текстове. Материалите са варирали от 200 до около 1500 думи.

Преподавателите, които са проверявали подадените материали, не са били уведомени, че четат текстове на AI. Те са смятали, че разглеждат творенията на реални студенти.

Резултатите са красноречиви: 94% от подадените текстове не са били разкрити, че са написани от ChatGPT. Нещо повече: повечето от разкритите са били „твърде добри“ и затова преподавателите са се усъмнили. Общо 84% от материалите на ChatGPT са получили по-високи оценки спрямо произволна група студенти, които са минавали същите изпити.

Изкуственият интелект се е справил осезаемо по-добре спрямо първокурсниците и малко по-добре в сравнение с второкурсниците. Имал е повече трудности с последния трети курс и особено със заключителния изпит. Скарфи обяснява това с факта, че тогава преподавателите вече търсят много по-специфични и задълбочени познания и аналитични умения, които AI все още не успява да симулира.

Тестовете на екипа на Скарфи показали, че инструментите за засичане на AI съдържание „се справят добре в лаборатория, но представянето им се влошава значително в реалния свят“. „Освен това помнете, че големите езикови модели се подобряват постоянно. Ние направихме нашия експеримент през лятото на 2023 г. с GPT-4, като от тогава моделът имаше три нови версии“, казва Скарфи.

Според учените това не трябва да се възприема като нещо крайно лошо. Скарфи дава за пример колко много други технологии първоначално са били забранени от университетите, но постепенно биват разрешавани. „AI става част от нашия живот и нямаме средствата да засичаме измами с AI, затова в един момент просто трябва да го интегрираме в образователната система“, казва Скарфи. Според него ролята на университетите е да подготвят студентите за работа и следователно трябва да започнат да ги учат как ефективно и пълноценно да използват AI инструментите.

„Аз съм програмист и веднъж видях клип в YouTube, в който един човек казваше на ChatGPT да пише сложен програмен код на Python. Кодът на чатбота не работеше, като човекът решаваше проблемите като преглеждаше написаното и му казваше къде какво да промени. Не можеш да направиш това, ако не знаеш да програмираш и просто разчиташ на AI да ти свърши цялата работа“, казва Скарфи.