Новият модел CriticGPT на OpenAI е обучен да критикува резултатите от GPT-4

OpenAI представи CriticGPT - нов AI модел, предназначен за откриване на грешките в кода, директно генериран от ChatGPT. Новият CriticGPT ще се използва като алгоритмичен асистент за тестерите, които проверяват програмния код, създаден от ChatGPT.

Според новото проучване "LLM Critics Help Catch LLM Bugs", публикувано от OpenAI, новият модел CriticGPT е проектиран като AI асистент за експертите тестери, които проверяват софтуерния код, генериран от ChatGPT. Новият CriticGPT, базиран на фамилията големи езикови модели (LLM) GPT-4, анализира кода и посочва потенциалните грешки, като по този начин улеснява експертите да откриват недостатъци, които иначе биха останали незабелязани поради човешкия фактор. Изследователите обучават CriticGPT върху набор от данни с образци на код, съдържащи умишлено въведени грешки, като го научават да разпознава и отбелязва различните грешки.

Учените са установили, че в 63% от случаите, включващи естествено възникнали LLM грешки, анотаторите са предпочели критиката на CriticGPT пред човешката критика. Освен това екипите, използващи CriticGPT, са написали по-пълни рецензии от хората, които не са използвали този AI асистент, а конфабулациите (неверните факти и халюцинациите) рязко са намалели.

Изданието ArsTechnica допълва, че разработването на интелигентния "критик" е включвало обучение на модела върху голямо количество входни данни с умишлено въведени грешки. Експертите били помолени да модифицират кода, написан от ChatGPT, като въведат по-типичните грешки, и след това да предоставят резултата с предполагаемо откритите грешки. Този процес е позволил на модела да се научи как да идентифицира и критикува различните видове грешки в кода.

При експериментите CriticGPT демонстрира способността си да улавя както нарочно внесените грешки, така и естествено възникналите грешки в резултатите от отговорите на ChatGPT. Изследователите създадоха и новия метод "Force Sampling Beam Search" (FSBS), който помага на CriticGPT да пише по-подробни рецензии на кода, позволявайки му да регулира задълбочеността на търсенето на проблемите, като същевременно контролира честотата на фалшивите положителни резултати.

Интересно е, че възможностите на CriticGPT надхвърлят обикновените проверки на кода. При експериментите моделът беше използван в множество учебни данни на ChatGPT, които преди това бяха оценени от хората като безупречни. Изненадващо, CriticGPT откри грешки в 24% от тези случаи, които по-късно бяха потвърдени от специалистите. От OpenAI смятат, че това показва потенциала на модела не само да се справя с техническите задачи, но също така подчертава способността му да улавя фините грешки, които могат да избегнат дори внимателната човешка проверка.

Въпреки обещаващите резултати CriticGPT, както всички модели с изкуствен интелект, има ограничения. Моделът е обучен на сравнително кратките отговори на ChatGPT, което може и да не го е подготвило напълно за оценка на по-дълги и по-сложни задачи, с които може да се сблъскат бъдещите системи с изкуствен интелект от подобен тип. Изследователският екип признава, че моделът е най-ефективен при откриването на грешки, които могат да бъдат идентифицирани на едно конкретно, тясно място в кода. Реалните грешки в резултатите от кода на AI обаче често могат да бъдат разпръснати в множество части на отговора, което представлява предизвикателство за бъдещите итерации на модела.

Освен това, макар че CriticGPT намалява конфабулациите, той не ги елиминира напълно и хората-експерти все още могат да изпуснат някои грешки на базата на тези фалшиви данни.