Към днешен ден дори най-мощните чатботове могат да анализират до 75 000 думи в заявките, като увеличението на входните данни е ограничено от паметта на графичните процесори, които обучават и управляват AI моделите.

Изданието Business Insider ни напомня, че в областта на изкуствения интелект (AI) тези входни данни се измерват във вид на токени и контекстни прозорци: токенът е единица, която може да представлява дума, част от дума, число или нещо подобно, а контекстният прозорец е мястото, където се въвеждат въпросите, текстът и другите данни за чатбота.

Чатботът Anthropic Claude предлага контекстен прозорец с до 100 000 токена или около 75 000 думи. По същество това е книга, която системите могат веднага да анализират и да предоставят конкретен отговор. Моделът GPT-3.5 на OpenAI поддържа контекстен прозорец с ограничение до 16 000 думи, а неговият наследник GPT-4 - до 32 000. Според неотдавнашно проучване моделът, създаден от MosiacML, компания, която е собственост на Databricks, може да обработва 65 000 токена (лексеми).

В статията си Хао Лиу, дипломант в Калифорнийския университет в Бъркли и изследовател на свободна практика в Google DeepMind, предлага интересен начин за увеличаване на този брой до милиони токени.

Настоящите модели за изкуствен интелект обработват данните по начин, който изисква от графичните процесори да съхраняват различните вътрешни междинни резултати и след това да ги изчисляват отново, преди да ги прехвърлят към следващия графичен процесор. Това изисква много памет, която е в недостиг - което в крайна сметка ограничава количеството входни данни, които моделът може да обработва. Без значение колко бърз е графичният процесор, съществува така нареченото тясно място на паметта.

Новият подход образува своеобразен пръстен от графични процесори, който прехвърля само части от информацията към следващия графичен процесор, като същевременно получава подобни блокове от друг съседен графичен процесор. И така нататък.

"Това изключително ефективно елиминира ограниченията на паметта, наложени от отделните устройства", пишат изследователите.

Лиу казва, че на теория в бъдеще в контекстуалните прозорци едновременно ще могат да се добавят много книги и дори филми, а моделите на изкуствения интелект ще ги анализират и ще създават координирани отговори:

"Колкото повече графични процесори имате, толкова по-голям може да бъде контекстният прозорец. Чудя се кои големи технологични компании ще могат да създадат това и да се възползват от него".

Като пример Лиу изчисли, че модел с 13 милиарда параметъра и контекстен прозорец от 16 000 токена, използващ 256 графични процесора Nvidia A100, ще може да обработва контекстен прозорец от 4 милиона токена с новия така наречен "пръстеновиден подход".

Тези констатации пораждат важен въпрос: ако можете да правите много повече с по-малко графични процесори, означава ли това, че търсенето на чиповете за изкуствен интелект на Nvidia ще намалее? Лиу казва, че няма да стане така. Вместо това разработчиците и технологичните компании ще започнат да изпробват по-големи и по-смели неща с новата технология.