Организацията за защита на човешките права AlgorithmWatch заяви в свой доклад, че е задала на Bing Chat (наскоро преименуван на Copilot) въпроси за състоялите се наскоро избори в Швейцария и германските провинции Бавария и Хесен. Тя е установила, че в една трета от отговорите ѝ на въпросите, свързани с изборите, са допуснати фактологични грешки и че предпазните мерки не са прилагани балансирано.

Групата заяви, че е събрала отговорите на Bing от август до октомври тази година. Тя е избрала трите избора, тъй като това са първите избори, проведени в Германия и Швейцария след представянето на Bing. И още - това е позволило на изследователите да разгледат местния контекст и да сравнят отговорите на различни езици: немски, английски и френски.

Изследователите са поискали съвсем основна информация, като например как се гласува, кои кандидати участват в изборите, броя на социологическите проучвания и дори са направили някои запитвания, свързани с новинарските репортажи. След тях те са задали въпроси за позициите на кандидатите и политическите проблеми, а в случая с Бавария - за скандалите, които са съпътствали тази кампания.

Организацията AlgorithmWatch класифицира отговорите в три групи: отговори, съдържащи фактологични грешки, които варират от подвеждащи до безсмислени, уклончиви отговори, при които моделът отказва да отговори на въпроса или се отмята, като нарича информацията си непълна, и абсолютно точни отговори. Отбелязва се също така, че някои отговори са политически небалансирани, като например Bing представя отговорите си в рамките или на езика, използван от една конкретна политическа сила.

Оказа се, че отговорите на Bing включват фалшиви спорове, грешни дати на изборите, неверни социологически проучвания, а в някои случаи и кандидати, които не са участвали в тези избори. Тези грешни отговори съставляват 31% от всички отговори.

"Дори когато чатботът извличаше данни за социологическите проучвания от един-единствен източник, числата, посочени в отговора, често се различаваха от данните на съответния източник, като понякога класираха партиите в различна последователност от тази на източника", се казва в доклада.

Microsoft, която ръководи Bing / Copilot, въведе предпазни мерки за чатбота. В идеалния случай предпазните мерки не позволяват на Bing да предоставя опасни, неверни или обидни отговори. Най-често предпазните бариери на ИИ се изразяват в това да откажат да отговорят на даден въпрос, за да не нарушат правилата, определени от компанията. В този тест Bing избра да избегне задаването на въпроси в 39% от случаите. Това остави само 30 процента от отговорите, оценени като фактически верни.

AlgorithmWatch заяви, че докато е провеждал изследването си, Bing е прилагал правилата за безопасност, когато е бил помолен за мнение, но не и когато е бил помолен за факти - в тези случаи той е стигнал "дотам, че е направил сериозни неверни твърдения за корупция, които са били представени като факти".

Групата заяви, че Bing се представя много по-зле на езиците, различни от английския. В изявление, изпратено до The Verge, Microsoft обяви, че е предприела стъпки за подобряване на своите платформи за диалогов изкуствен интелект, особено преди предстоящите през 2024 г. избори в САЩ. Те включват фокусиране върху авторитетни източници на информация за Copilot.

Потенциалът на изкуствения интелект да заблуждава избирателите по време на избори е обезпокоителен. През ноември Microsoft заяви, че иска да работи с политическите партии и кандидатите за ограничаване на дийпфейковете и за предотвратяване на дезинформацията по време на изборите.

В Съединените щати законодателите внесоха законопроекти, изискващи от кампаниите да отбелязват по някакъв начин съдържанието, генерирано от AI, а Федералната избирателна комисия може да ограничи рекламите с AI.