Nvidia представи нова технология за създаването на 3D модели от 2D снимки

Nvidia представи приложението GANverse3D, което с помощта на машинно обучение създава 3D модел само от една обикновена двуизмерна фотография. Специалистите на компанията показаха възможностите на новото приложение чрез създаването на триизмерен модел на говорещия автомобил КИТ от сериала "Рицарят Ездач".

https://youtu.be/gz5E9wszZSI

Самото приложение GANverse3D е създадено от специалистите на лабораторията Nvidia AI от Торонто. Те са на мнение, че новата технология ще бъде от помощ на архитектите, разработчиците на компютърни игри и дизайнерите, които получават възможност да добавят триизмерни модели в своите сцени без да имат опит в моделирането и без да увеличават бюджета на проектите.

Тъй като далеч не във всички случаи са налични бази данни с изображения на обектите от всички страни, повечето разработчици тренират своите невронни мрежи със синтетично създадени бази данни, както е например при ShapeNet. Но създателите на GANverse3D са тръгнали по съвсем друг път: за създаването на своята база данни те са използвали генеративна състезателна мрежа (GAN) с обратна връзка, която самостоятелно генерира изображенията на обекта от различни ракурси.

На базата на получените по този начин изображения приложението GANverse3D изгражда 3D модел на обекта с помощта на фреймуърка DIB-R за Omniverse. След като е било обучено по този начин приложението GANverse3D се е научило да рендира 3D модел само от една единствена снимка, направена от един ракурс.

Окончателната версия на приложението е обучена с помощта на реални изображения на 55 хиляди автомобила. Програмата анализира осветеността, моделът и текстурата на оригинала, и на базата на тези данни създава реалистичен 3D модел.