Моделът на Google Gemma 4 12B работи на всеки лаптоп с 16 GB RAM

Google обяви пускането на нов модел за изкуствен интелект (AI) Gemma 4, който izglevda запълва празнина в гамата, пусната по-рано тази година. Новият модел е достатъчно ефективен, за да може да се изпълнява на стандартни потребителски лаптопи.

През април Google пусна четири модела от семейството Gemma 4, което отбеляза и преминаването към по-отворена лицензия Apache 2.0. Първоначалните модели включваха две опции, оптимизирани за мобилни устройства (E2B и E4B), заедно с два модела за по-сериозна работа (26B Mixture of Experts и 31B Dense). Това остави доста голяма празнина в средата, където се вписва новият модел.

Gemma 4 12B е значително по-мощен от мобилните версии, но няма да изисква скъп AI ускорител, за да работи локално. Google твърди, че Gemma 4 12B е уникален с това, че може да работи на много потребителски лаптопи, без да се жертва качеството. Достатъчно е да имате компютър с 16 GB системна RAM или VRAM, за да работи моделът с 12 млрд. параметри. Това е около половината от общата памет, която заема Gemma 4 26B MoE, и Google твърди, че новият модел е почти толкова способен, поне що се отнася до бенчмарковете.

Google твърди, че новият модел е способен на сложни многоетапни разсъждения и агентни работни потоци, за които преди бяха необходими по-големите варианти на Gemma. Въпреки по-малкия брой параметри, Gemma 4 12B идва с новоразработените MTP (Multi-Token Prediction) драфтери, които използват неизползваните цикли на обработка, за да изчисляват възможни бъдещи токени. Резултатът е по-голяма скорост и ефективност. Google пусна опционални MTP версии на другите модели Gemma 4, но това е първият, който има MTP още от самото начало.

Gemma 4 12B е също така по-ефективен благодарение на нов подход към мултимодалността. Семейството Gemma 4 е мултимодално по природа, като приема текст, аудио или изображения като входни данни. Повечето модели за генериране на AI – включително другите варианти на Gemma 4 – използват специални енкодери за обработка на нетекстови входни данни и предаване на тези данни към LLM.

С новия модел със среден размер Google е внедрил опростен модул за вграждане за визия, включващ умножение на единична матрица и позиционно вграждане, което позволява на данните да се предават към LLM с подходящо пространствено възприятие. Това елиминира нуждата от обемист енкодер-посредник. За аудио изобщо няма кодиране. Разработчиците изработиха метод за проециране на суровия аудио сигнал в същите вектори, използвани за текстови токени.

Ако искате да разгледате новия модел Gemma 4, той е достъпен без изтегляне чрез инструменти като LM Studio, Google AI Edge Gallery и други. Но цялата идея с Gemma 4 12B е, че можете да го изпълнявате локално и по ваши собствени условия. Ако разполагате с достатъчно RAM, тежестите на модела са достъпни за незабавно изтегляне от Kaggle и Hugging Face. Те са малко под 18 GB.