Само преди няколко дни Google представи новия си модел за генеративен изкуствен интелект (Gen AI) Gemini. Компанията смело похвали разработката и я обяви за най-мощния и способен алгоритъм, който е създавала досега. Тя обърна внимание, че той ще може да работи с много повече информация, да е по-прецизен и да е по-добър от еквивалентните предложения на OpenAI.

Тези хвалби привлякоха внимание и поради друга причина. Когато в началото на тази година Google пусна чат бота Bard, той беше допуснал фрапираща фактологична грешка за астрономията още в демонстрационните материали. Това предизвика буря от реакции и критики и след това всеки аспект на Bard беше гледан под лупа. Случаят доведе до завишеното наблюдение на достоверността на AI като цяло.

Пускайки Gemini, Google уверено заяви, че и в трите си версии, алгоритъмът ще е много по-прецизен. А това е важно, тъй като той ще бъде внедрен не само в бота Bard, но и в търсачката и много други услуги на интернет гиганта. Затова и вниманието отново бързо беше насочено към това колко добре се справя той. Gemini Pro, който е конкурент на GPT-3.5, вече се използва от Bard и потребителите бързо го тестваха в най-различни ситуации.

Резултатите не са никак добри, съобщава TechCrunch. Отново има грешки. При това много. Обобщението на TechCrunch показва част от тях и става видно, че те са в най-различни сфери и не става дума за изолирани грешки.

Така например Bard с Gemini Pro греши кои са победителите в наградите „Оскар“ т.г. При това дава различни отговори на един и същи въпрос, който би трябвало да има винаги един и същи отговор.

Проблеми има и с превода между различни езици. Bard греши елементарни заявки за превод. Освен това не може да брои броя на буквите в думи. На заявка да предложи 6-буквена дума на френски, Bard дава различни отговори, но думите са с по 5 или 7 букви.

И проблемите продължават. Bard има трудности и с писане на резюмета за новини. Това е изненада, при положение, че има достъп до търсачката и до Google News. Освен това ботът понякога използва остаряла информация за резюметата. А ако бъде попитан по тема, която попада във филтрите му, просто казва на потребителя да си потърси информация в Google.

Или поне така е програмиран. Други, по-упорити потребители, са успели чрез внимателно прецизиране на заявките, да накарат бота да отговаря и на неудобни въпроси и да дава идеи как да се реализират престъпления.

Проблеми има и със съветите за програмиране. Bard с Gemini Pro не се справя с базови функции в Python или прави семпли програми и игри с бъгове и се налага корекцията им. Еквивалентни заявки в ChatGPT връщат добре написан код и работещи игри без бъгове от първия път.

Google не е коментирала критиките на потребителите. Компанията не е пуснала Gemini Ultra – най-добрата версия, която ще е конкурент на GPT-4. Очаква се този модел да е готов догодина и това дава време на компанията да коригира проблемите.