GPT-4 издържа теста на Тюринг, твърдят учени

Повечето хора не можаха да различат ChatGPT от отговорите на човек, което показва, че известният тест на Тюринг за първи път в историята е преминат успешно от изкуствен интелект.

Взаимодействието ни с изкуствения интелект (AI) в интернет е не само по-често от всякога, но и по-често, отколкото осъзнаваме. Ето защо екип изследователи помолиха няколко души да разговарят с четири агента, включително един човек и три различни вида AI модели, за да проверят дали могат да ги различат.

"Тестът на Тюринг", предложен за първи път като "игра на имитация" (the imitation game) от компютърния учен Алън Тюринг през 1950 г., преценява дали способността на дадена машина да проявява интелигентност е неразличима от тази на човека. За да премине успешно теста на Тюринг, машината трябва да може да говори с някого и да го убеди, че е човек.

Учените решиха да повторят този тест, като помолиха 500 души да говорят с четирима респонденти, включително с човек и програмата за изкуствен интелект ELIZA от 60-те години на миналия век, както и с GPT-3.5 и GPT-4 - изкуствения интелект, на който се базира ChatGPT. Разговорите са били с продължителност пет минути, след което участниците е трябвало да кажат дали смятат, че разговарят с човек или с изкуствен интелект. В изследването, публикувано на 9 май в сървъра за предварително публикуване arXiv, учените установиха, че в 54 % от случаите участниците са определили GPT-4 като човек.

ELIZA - система, предварително програмирана с отговори, но без голям езиков модел (LLM) и без специализирана архитектура на невронна мрежа, беше оценена като човек само в 22% от случаите. GPT-3.5 получи 50% от възможните резултати, докато участникът човек получи 67% от оценката.

"Машините могат да правят заключения, като комбинират правдоподобни последващи оправдания за нещата, както правят хората", казва Нел Уотсън, изследовател на AI в Института по електротехника и електроника (IEEE), пред Live Science.

"Те могат да бъдат подвластни на когнитивни пристрастия, да бъдат заблуждавани и манипулирани и бързо стават все по-измамни. Всички тези елементи означават, че човекоподобните слабости и странности се проявяват и в AI системите, което ги прави по-човекоподобни от предишните подходи, които имаха само малко повече от един списък с готови отговори".

Изданието LiveScience допълва, че проучването, което се базира на десетилетия опити AI агентите да преминат теста на Тюринг, повтаря общите опасения, че AI системите, считани за човешки, ще доведат до "мащабни социални и икономически последици".

Учените също така твърдят, че има основателни критики към твърде опростения подход към теста на Тюринг, като казват, че "стилистичните и социално-емоционалните фактори играят по-голяма роля за преминаването на теста на Тюринг, отколкото традиционните понятия за интелигентност". Това навежда на мисълта, че сме търсили машинния интелект на грешното място.

Учените добавят, че проучването представлява предизвикателство за бъдещото взаимодействие между хората и машините и че ще ставаме все по-параноични относно истинската същност на взаимодействията, особено по чувствителните въпроси. Те добавят, че проучването подчертава как AI се е променил в ерата на GPT.