AI Overviews на Google се оказва, че често заблуждава

При онлайн търсене Google вече дава отговори с AI Overviews – търсещия робот, задвижван от Gemini, който се появява в горната част на страницата с резултати. Решението премина през трудни моменти от стартирането си през 2024 г., предизвиквайки гнева на потребителите заради нестабилната си точност, но се подобрява и обикновено дава верния отговор.

Нов анализ на The New York Times се опитва да оцени точността на AI Overviews и установи, че тя е правилна в 90% от случаите. Обратната страна е, че 1 от всеки 10 отговора на AI е грешен, а за Google това означава стотици хиляди лъжи, разпространявани всяка минута от деня.

Анализът е проведен с помощта на стартъп, наречен Oumi, който сам по себе си е дълбоко ангажиран в разработването на модели на изкуствен интелект. Компанията използва инструменти за изкуствен интелект, за да проучи AI Overviews с оценката SimpleQA – обичаен тест за класифициране на фактическата точност на генеративни модели като Gemini. Пуснат от OpenAI през 2024 г., SimpleQA е по същество списък от над 4000 въпроса с проверими отговори, които могат да бъдат въведени в изкуствен интелект.

Oumi започна да провежда теста си миналата година, когато Gemini 2.5 все още беше най-добрият модел на компанията. По това време бенчмаркът показа 85% точност. Когато тестът беше повторен след актуализацията на Gemini 3, AI Overviews отговори правилно на 91% от въпросите. Ако екстраполирате този процент грешки към всички търсения в Google, AI Overviews генерира десетки милиони неправилни отговори на ден.

Докладът включва няколко примера за грешки на AI Overviews. Когато е попитан за датата, на която бившият дом на Боб Марли е станал музей, AI Overviews цитира три страници, две от които изобщо не споменаваха датата. Последната, Уикипедия, посочва две противоречащи си години, а AI Overviews уверено избра грешната.

Говорителят на Google Нед Адрианс казва пред Times, че Google смята, че SimpleQA съдържа невярна информация. Оценките на моделите му често разчитат на подобен тест, наречен SimpleQA Verified, който използва по-малък набор от въпроси, които са били по-обстойно проверени. „Това проучване има сериозни пропуски“, каза Адрианс пред Times. „То не отразява това, което хората всъщност търсят в Google.“

Всяка компания има свой предпочитан начин да демонстрира какво може да прави даден модел, а недетерминистичната природа на генеративния изкуствен интелект може да затрудни проверката на каквото и да било. Тези роботи могат да отговорят правилно на фактически въпрос, а след това напълно да го пропуснат, ако повторите заявката веднага. Oumi дори използва AI инструменти, за да извършва своите оценки, а тези модели също могат да халюцинират.

Другият проблем е, че AI Overviews не е единен монолитен модел. Google заяви, че използва подходящия модел за всяка заявка. Макар AI Overviews да получава най-добрите отговори, ако винаги използва Gemini 3.1 Pro, това е бавно и скъпо. За да зарежда нещата бързо на страницата за търсене, обзорът използва по-бързи модели Gemini Flash, когато е възможно.