Meta отново слага фокуса върху моделите си с изкуствения интелект

Meta обяви намерението си да се фокусира върху големи езикови модели с „отворени тегла“ (open-weight). Освен това компанията обяви пускането на отворен модел, наречен Muse Glimmer, както и обещание да направи достъпни Muse Spark 1.2 през следващите няколко седмици.

Наред с тези съобщения, главният изпълнителен директор на Meta Марк Зукърбърг публикува есе, в което очертава философията на компанията относно системите за изкуствен интелект и управлението им в бъдеще. Есето има за цел да разграничи Meta от компании като OpenAI и Anthropic, които разработват собствени модели и които са лобирали пред правителството на САЩ за помощ в конкуренцията срещу мащабната дистилация, която включва използването на съществуващ модел за обучение на нов такъв, или срещу моделите с отворени тегла, разработени от китайски лаборатории.

Muse Glimmer е модел с 30 млрд. параметри и контекстен прозорец от 128 000 токена по подразбиране. Той е дестилиран от Muse Spark, който Meta пусна по-рано тази година. Glimmer е предназначен да работи на локалните машини на потребителите, а не чрез облачна услуга или API. Тежестите на Glimmer са с отворен код под лиценза Apache 2.0.

Muse Spark беше представен през април като затворен, патентован модел от най-високо ниво. Като по-малък модел, проектиран да работи на потребителски графични процесори, Muse Glimmer няма да се конкурира на това ниво, но отразява нарастващата тенденция за прехвърляне на част от изчислителните операции към локални устройства, с цел да се намали зависимостта и разходите за моделите, произвеждани от големите лаборатории като Anthropic и OpenAI.

Наред с пускането на моделите, Зукърбърг е посочен като автор на дълго отворено писмо, в което подробно се описва корпоративната стратегия на Meta по отношение на ИИ, както и по-широка аргументация за това как ИИ трябва да се разработва, разпространява и регулира.

По темата за дистилацията Meta и Зукърбърг написаха: Възможността моделите да се учат от други е важен принцип в начина, по който функционира екосистемата на отворения код. Всички модели за изкуствен интелект произтичат от човешкото знание. Някои се опитаха да представят дистилацията като вредна, но аз смятам, че е важно да се защити принципът, че човек може да се учи от всичко, което наблюдава.

По-голямата част от есето обаче се фокусира върху идеята за децентрализирани системи за изкуствен интелект, които са широко разпространени. То също така директно опровергава аргументите, че са необходими строго контролирани, патентовани модели и системи за изкуствен интелект поради опасения от екзистенциални заплахи или катастрофално несъответствие.

Цукерберг написа, че възгледът за съгласуваността, застъпен от компании като Anthropic — която твърди, че се опитва да обучава уникални и широкообхватни базови модели с оперативни параметри и предпазни мерки, които ще гарантират, че те ще бъдат от полза за човечеството като цяло — е „фундаментално погрешен“. Вместо това Meta твърди, че моделите трябва да бъдат персонализирани според нуждите и ценностите на отделни лица или групи от хора. Компанията също така твърди, че децентрализацията ще направи всички по-безопасни, защото ще предостави ползите и предимствата на „суперинтелигентността“ на всички по равно, вместо да дава привилегии на „малък брой лица, компании, правителства или самата ИИ“.