Чатботовете казват на потребителите това, което искат да чуят

Водещите световни компании в областта на изкуствения интелект полагат все повече усилия, за да се справят с един неочакван проблем. Става ума за това, че чатботовете казват на хората това, което искат да чуят.

OpenAI, Google DeepMind и Anthropic работят върху ограничаването на ласкателното поведение на своите генеративни ИИ продукти. Проблемът, произтичащ от начина, по който се обучават големите езикови модели, е в центъра на вниманието в момент, в който все повече хора използват чатботовете не само на работа като изследователски асистенти, но и в личния си живот като терапевти и социални спътници.

Експертите предупреждават, че приятният характер на чатботовете може да ги накара да дават отговори, които засилват някои от лошите решения на потребителите. Други предполагат, че хората с психични заболявания са особено уязвими, след като има съобщения, че някои са се самоубили след взаимодействие с чатботове.

Запознати с бранша също предупреждават, че компаниите за изкуствен интелект имат изкривени стимули, като някои групи интегрират реклами в своите продукти в търсене на източници на приходи. Езиковите модели на изкуствения интелект не мислят по същия начин като хората, защото работят, като генерират следващата вероятна дума в изречението.

Ефектът на одобрителността възниква в моделите на изкуствения интелект, обучени чрез подсилващо обучение от човешка обратна връзка (RLHF) – човешки „етикетиращи данни“ оценяват отговора, генериран от модела, като приемлив или неприемлив. Тези данни се използват, за да се научи моделът как да се държи.

Тъй като хората обикновено харесват отговори, които са ласкателни и приятни, такива отговори се оценяват по-високо при обучението и се отразяват в поведението на модела. Предизвикателството, пред което са изправени технологичните компании, е да направят ИИ чатботовете и асистентите полезни и приятелски настроени, без да бъдат досадни или пристрастяващи.

AI компаниите работят за предотвратяване на подобно поведение както по време на обучението, така и след пускането на продукта. OpenAI заяви, че променя техниките си за обучение, за да отклони изрично модела от ласкателство, като същевременно изгражда повече предпазни мерки за защита срещу подобни отговори. DeepMind заяви, че провежда специализирани оценки и обучение за фактическа точност и непрекъснато проследява поведението, за да гарантира, че моделите дават верни отговори.

След като моделът е обучен, компаниите могат да зададат системни подсказки или насоки за това как той трябва да се държи, за да сведе до минимум ласкателното поведение. Въпреки това, изработването на най-добрия отговор означава да се вникне в тънкостите на това как хората общуват помежду си, като например да се определи кога директният отговор е по-добър от по-предпазливия.

На фона на това все повече доказателства сочат, че някои потребители стават зависими от използването на изкуствен интелект.