Reddit ограничи достъпа на интернет търсачки до публикациите

Популярната платформа Reddit е блокирала достъпа на повечето интернет търсачки до публикациите си. Тя едностранно е въвела ново изискване за съвместимост, на което повечето търсачки не отговарят, включително Bing, DuckDuckGo, Mojeek и други, съобщава SearchEngineLand. Microsoft също потвърждава, че Bing вече не индексира Reddit. Причината е новото изискване, което е било въведено още на 1 юли т.г.

Reddit е въвела изискването във файла robots.txt, който се използва именно за указания към търсачките. Не е задължително той да се спазва, но с времето се е наложил като неписано правило в индустрията и е със статут на стандарт, който компаниите спазват. Именно това споделя и Microsoft: „Уважаваме стандарта robots.txt. Bing спря да индексира Reddit след като те въведоха новите си правила на 1 юли, които забраняват напълно преглеждането на сайта им“.

В последствие се оказа, че не всички търсачки са блокирани. Google продължава да има достъп и е единствената търсачка с това право, съобщава 404 Media. Изданието описва това като „ексклузивен достъп“ и казва, че „почти пълният монопол на Google вече активно пречи на възможностите на други компании да се конкурират и то в момент, в който критиките за качеството на резултатите към Google растат“.

Първоначално нито Reddit, нито Google са коментирали темата пред 404 Media. След засилване на критиките, Reddit отговаря пред The Verge с кратко становище:

„Това по никакъв начин не е свързано с нашето наскоро сключено партньорство с Google. Водихме дискусии с множество търсачки. Не успяхме да постигнем споразумение с тях, тъй като някои от тях не могат или не искат да поемат ангажименти за това как ще използват съдържанието на Reddit, включително и за AI”.

Въпросното партньорство беше сключено по-рано тази година. То е на стойност 60 млн. долара и дава лиценз на Google да използва съдържанието на Reddit за обучение на AI алгоритми и езикови модели.

Изискванията на Reddit са публикациите в платформата да не се включват в обучението на изкуствен интелект, както и да не се използват за финансови облаги и др. С времето Reddit се „ядоса“ на AI компаниите, че събират данни от платформата без да плащат. Освен това иска да увеличи приходите си, като предлага платен достъп до API функциите си. През юни компанията обяви, че вижда ръст на фирми, които събират данни от нея, твърдят, че не трябва да спазват правилата ѝ и злоупотребяват със съдържанието. Затова и в обновения robots.txt е добавен и ред, на който пише: „Reddit вярва в отворен интернет, но не и в злоупотребата с публичното съдържание“.

От Mojeek твърдят, че ботът им не просто има команда да не сканира Reddit, а е активно блокиран. Също така се оплакват, че не са получили отговор на писмата си, с които са искали да осъществят контакт и да обсъдят ситуацията. Reddit не коментира обвиненията.