Данните са от критична важност за всяка организация, от малките фирми до големите корпорации. С нарастването на количеството и сложността за достъп до тях, очаквано има и все повече проблеми. Сега ново проучване между 200 професионалисти в областта в САЩ показва, че времето, в което корпорациите нямат достъп до информацията си, е близо удвоено за една година.

Проучването е проведено през март тази година и подчертава критичният недостатък, който трябва да бъде отстранен преди организациите да могат да разгърнат възможностите си в сферата на изкуствения интелект (AI). Факторите, които логично водят до проблеми, са повечето данни и по-високи нива на сложност. Също така данните стават и все по-значима част от дейностите за генериране на приходи. Това от своя страна означава, че потребителите могат по-лесно да забележат проблеми.

От включените в проучването 200 респондента, 51% споделят, че са били свидетели на между 1 и 20 инцидента свързани с данни в рамките на един месец, 20% споделят за 20 до 99 инцидента, а за 27% те са били над 100. Това е значително повече спрямо резултатите за миналата година. Средно този показател се повишава от 59 до 67 инцидента месечно.

С увеличаване на проблемните случаи с данни, очаквано на екипите им отнема и повече време за справяне с тези нередности. Миналата година 62% от участниците в проучването са споделили, че средно са им били необходими четири или повече часа за засичане на инцидент, а през настоящата година този показател достига 68%. Сходно, справянето с инцидентите е отнемало четири и повече часове за 63%, спрямо 47% през миналата година. Средното време се е увеличило от 9 на 15 часа.

В случая е важно да се разбере, че проблемът не е в неподготвени специалисти, а по-скоро от мащабите. Инженерите са изправени не само пред огромно количество данни, които често са в процес на пренос, но и срещу постоянно променящите се подходи за тяхното предаване и приемане. Тези процеси не винаги могат да бъдат регулирани. Иначе най-често срещаната грешка е да разчитат изцяло на ръчни статични тестове на данни. Този подход изисква екипите да предвиждат и да пишат тестове за всички начини, по които всеки набор от данни може да бъде компрометиран. Това отнема много време, което иначе би било необходимо за разрешаване на проблемите.

Вместо това се препоръчва автоматизиране на процесите чрез разработване на решения базирани на машинно обучените. Те могат да засичат състоянието, обемът, схемата и разпределението на данните. Това може да даде на анализаторите холистичен поглед върху надеждността им. Освен това, при наличието на проблем, тези детектори могат да изпращат предупреждения, позволявайки на екипите да се задействат по-бързо по отстраняването му. Така също се ограничава и негативното въздействие върху организацията.

Освен решения базирани на машинно обучение, екипите за реагиране могат да заложат и на някои базови похвати, за да предотвратят по-продължително време на липса на достъп до данните. На първо място става дума за фокус и приоритизиране. Отвъд това могат да бъдат създавани SLA (service level agreements), по-точно управление на собствеността, писана документация и изследвания на вече отстранени проблеми.