Cloudflare иска AI ботовете да плащат на сайтовете за достъп до тях

Администраторите на много интернет страници са недоволни от прогреса на изкуствения интелект и начина, по който алгоритмите биват обучавани. Причината – много от AI ботовете просто влизат сайтовете, събират колкото могат информация, използват я за обучение и за генериране на отговори и съдържание и не дават нищо в замяна.

Всъщност, дават - все повече сайтове отчитат спад на посещенията. Затова администраторите отдавна призовават за повече контрол над достъпа на AI ботовете до съдържанието им. И сега компанията Cloudflare им дава тази възможност, съобщава TechCrunch. Тя открива онлайн магазин, който се казва Pay per Crawl.

В него собствениците на интернет сайтове могат да избират дали да позволяват на AI ботовете да индексират страниците им. Ако позволят – ботът ще трябва да си плати предварително определена от сайта тарифа за всяка индексирана страница. Разбира се, администраторът може да позволи и напълно безплатно индексиране или пък да го блокира изцяло.

Всички клиенти и ползватели на Cloudflare имат достъп до магазина и да могат да изберат режима на индексация. Освен това те ще получават и информация за каква дейност ботовете индексират сайта им. Например за събиране на данни за обучение на AI, за използване в резултатите на AI търсачка или други цели. За да участват, AI компаниите също трябва да се регистрират и могат да укажат какви тарифи са приемливи за тях.

Идеята на магазина е по този начин собствениците на сайтове да могат да компенсират поне част от загубените приходи заради намалелия трафик на реални потребители. Пък и Cloudflare ще е в центъра на процеса и съответно ще получава комисионна за услугата.

Но има и друга гледна точка. Логично е, че повечето страници с качествено съдържание, ще блокират безплатния достъп. А AI ботовете могат просто да бъдат пренасочени към безплатни сайтове, включително предимно такива с ниско качество на съдържанието или дори генерирано от други ботове. Така качеството на информацията за обучение и генериране на отговори ще спадне драстично.

Затова Cloudflare казва, че магазинът е експериментален. Но компанията има сериозни намерения. Всички нови сайтове, които се регистрират да използват услугите ѝ, вече по подразбиране ще са с активирана забрана за индексация от AI ботове (не за търсачки). Администраторите ще могат сами да изберат кои ботове да допуснат. Cloudflare очаква потенциалът на магазина да си проличи най-вече при ръста на AI агентите. Например потребителят (или платформата) ще може да дава на агента бюджет, който да използва, за да намери най-качествената информация за изготвянето на анализи, доклади и т.н.

Идеята е дръзка и ще изисква участието на огромен брой сайтове и AI компании, за да проработи. Особено, след като AI ботовете вече имат предостатъчно безплатна информация, а и няма гаранция, че сайтовете ще получават достатъчно добри оферти, които да оправдаят участието в програмата. Но все от някъде трябва да се тръгне и този експеримент ще даде полезна информация дали това е правилна посока.