Ключов мениджър на Anthropic напусна с предупреждение за криза в AI сигурността

Ключовият специалист по AI безопасност в Anthropic Мринак Шарма напусна компанията с публично писмо, в което предупреждава, че индустрията на изкуствения интелект се движи с темпо, което надминава способността ѝ да се саморегулира. Той подчертава, че въпреки работата на екипа му – разработване на защитни механизми срещу злоупотреби с AI, включително биотероризъм и манипулативно поведение на чатботове – вътрешният натиск често е подкопавал декларираните ценности. В писмото си експертът отбелязва, че е постигнал целите, с които е дошъл в компанията, включително разработването на едно от първите изследвания върху това как AI може да влияе на човешкото поведение и дори да „размива човечността ни”.

Мринак Шарма е експерт по машинно обучение с докторска степен от Оксфорд и ръководи отдела за AI безопасност в Anthropic от 2023 година. Екипът му работи върху защити срещу опити за злоупотреби с изкуствен интелект. Въпреки това той твърди, че многократно е виждал как ценностите остават на заден план, докато индустрията ускорява развитието си. Според него светът се намира в период на „взаимосвързани кризи“, в който технологичната мощ расте по-бързо от човешката мъдрост.

Напускането на Шарма е част от по-широка тенденция - все повече ключови специалисти от водещи AI компании си тръгват заради етични разминавания и липса на прозрачност. В OpenAI икономистът Том Кънингам напусна през септември, след като изрази недоволство, че организацията все по-рядко публикува критични изследвания за въздействието на AI.

През 2024 г. компанията разпусна и екипа си Superalignment – основна структура за безопасност – след оставките на двама от водещите му членове. Един от тях, Ян Лайке, който днес ръководи изследванията по безопасност в Anthropic, посочва, че дълго време е бил в разногласие с ръководството на OpenAI относно приоритетите. Малко след него напуска и Гретчен Крюгер, която настоява компанията да подобри отчетността, прозрачността и вниманието към социалните и екологичните последици от AI.

В същото време други служители на Anthropic също са напуснали през последните месеци, докато компанията продължава да расте и да привлича нови кадри, включително нов технически директор. Паралелно с това Anthropic води разговори за нов кръг на финансиране, който може да оцени компанията на 350 милиарда долара и пусна новата версия Claude Opus 4.6 – модел с по-голям контекстен прозорец и подобрена производителност.