Как Amazon похарчи близо 2 млн. долара за AI услуги на Claude без да иска

Изкуственият интелект обещава да направи разработването на софтуер по-бързо, по-евтино и по-ефективно. Все повече компании интегрират AI в ежедневните си работни процеси и за тях се появява ново предизвикателство: контролирането на разходите. Когато автоматизираните инструменти са оставени да работят без строги бюджетни ограничения, тази ефективност може бързо да се превърне във финансов кошмар.

Този урок беше илюстриран от публикацията на Tom’s Hardware, че Amazon случайно е похарчила 1,8 милиона долара, използвайки модела на Claude AI на Anthropic, за проект, свързан с кодиране, който в крайна сметка се оказва неуспешен. Според вътрешна презентация на компанията, проектът е надвишил първоначалния си бюджет с 860%, като преразходът е останал незабелязан в продължение на приблизително пет месеца. Съобщава се, че други вътрешни проекти с изкуствен интелект също са претърпели шестцифрени превишавания на разходите, преди да бъдат открити.

Неконтролируемите разходи са възникнали, когато вътрешни автоматизирани скриптове многократно са захранвали огромни кодови бази в Claude. Големите езикови модели (LLM) таксуват разработчиците въз основа на използването на токени, което означава, че всеки обработен ред код, запълнен контекстен прозорец и генериран отговор струва част от цент.

Докато едно API активиране струва едва стотинки, зациклянето на автоматизирани AI агенти без ограничения на токените или стратегии за кеширане на токени, води до експоненциално нарастване на разходите. В случая на Amazon, ненаблюдаван скрипт непрекъснато е запитвал AI модели от високо ниво за рутинни задачи и поддръжка. Тъй като никой не е определил твърди ограничения за разходите или ограничения на API скоростта за проекта, системата тихомълком е изгорила близо два милиона долара в API токени, преди някой да забележи аномалията във фактурирането.

Въпреки че Amazon подчертава, че тези примери представляват изолирани експерименти, а не стандартна практика, инцидентът подчертава проблем, с който много бизнеси започват да се сблъскват, докато внедряват изкуствен интелект в голям мащаб. Малка програмна грешка или агент с изкуствен интелект, попаднал в непреднамерен цикъл, може да генерира милиони токени, което води до неочаквано големи сметки.

Експертите все по-често твърдят, че проектите с изкуствен интелект трябва да включват предпазни мерки като ограничения на разходите, наблюдение в реално време и механизми за автоматично изключване, когато разходите надхвърлят предварително определени прагове. Без тези защити, дори относително малка грешка в конфигурацията може да доведе до разходи, далеч надхвърлящи първоначално очакваните.

Случаят с Amazon също показва, че детайлите са важни. Например компанията е експериментирала с насърчаване на по-голямо използване на изкуствен интелект сред програмистите си и дори е проследявала вътрешно потреблението на токени. Въпреки че са предназначени да насърчат ползването, стимулите, фокусирани единствено върху използването на изкуствен интелект, могат неволно да насърчат ненужни заявки и неефективни работни процеси, вместо да възнаграждават значими подобрения в производителността. Според съобщенията, Amazon оттогава е премахнала този подход.

Генеративният изкуствен интелект предлага значителни подобрения в производителността, но без стриктно финансово управление, автоматизираното удобство може бързо да се превърне в катастрофа. Урокът на Amazon за 1,8 милиона долара трябва служи като напомняне за всички.