NVIDIA показа приложение за стартиране на AI чатботове на PC чрез нейните видеокарти

Nvidia представи ранната версия на Chat with RTX ─ демонстрационно приложение, което ви дава възможност да стартирате личен AI чатбот на локалния си компютър. Той може да се тренира с видеоклипове от YouTube и електронните документи в машината, за да създава резюмета и подходящи отговори въз основа на собствените данни на съответния потребител.

Тези функции могат да бъдат полезни за журналисти, студенти и всички останали, които трябва да анализират голям брой документи. Така например, като изпратите на Chat with RTX линк към видеоклип в YouTube, можете да търсите конкретни споменавания или да направите обобщение на целия видеоклип. Това е полезна функция за намиране на подходящи откъси в подкастите.

Въпреки че в ранната версия на приложението все още има някои бъгове и в някои случаи чатботът анализира друг видеоклип. А при опит за обработка на 25 хил. документа приложението се срива. Чатботът не запомня контекста, така че следващите въпроси не могат да се основават на контекста на предишния въпрос. Но когато всичко работи както трябва, можете да намерите необходимата ви информация само за няколко секунди.

Chat with RTX може да се използва и за сканиране на PDF файлове и за проверка на данни, извличайки само необходимата информация. Отговорите се предоставят почти мигновено ─ без никакви забавяния, каквито обикновено се наблюдават при базираните в облака чатботове ChatGPT или Copilot.

Изданието The Verge коментира, че на сегашния си етап Chat with RTX прилича на ранна демо версия за разработчици. По същество тя инсталира уеб сървър и версия на Python на компютъра, която след това използва моделите Mistral или Llama 2 за обработка на данните. От гледна точка на хардуера чатботът използва Tensor ядрата на Nvidia в графичния процесор, за да ускори обработката на заявките. След като бъде стартиран, потребителят получава достъп до Chat with RTX от браузъра, докато командният ред работи във фонов режим, показвайки информация за това, което се обработва, и кодовете за грешките.

За да стартирането на Chat with RTX на локален компютър, е необходима графична карта от 30-та или 40-та серия RTX с поне 8 GB видеопамет. Инсталирането на чатбота на компютър с процесор Intel Core i9-14900K и графична карта RTX 4090 отнема около 30 минути. Размерът на приложението е около 40 GB, а версията на Python заема около 3 GB оперативна памет.

Въпреки това приложението Chat with RTX е една невероятно добра техническа демонстрация на възможностите и обещанията на локално работещ чатбот базиран на изкуствен интелект, който работи директно на компютъра на потребителя. Има много хора, които по принцип не искат да се занимават с абонаментни услуги с използване на ИИ в облака, като Copilot Pro или ChatGPT Plus. Не са малко потребителите, които не желаят да споделят личните си данни и начина на работата с компютъра с чужди сървъри, центрове за обработка на данни и електронни облаци. Chat with RTX е именно това – локално работещ AI чатбот, който всеки може да обучи по свой начин и да го използва както пожелае.