NVIDIAs nya AI-modell kan skapa 3D-modeller av vanliga bilder

Wendy Zhou, Journalist
@uxconnections

Forskare på företaget NVIDIA har nyligen lyckats skapa en AI-modell som kan skapa 3D-scener från endast ett dussintal bilder, detta med hjälp av endast ett neuralt nätverk och en GPU. Denna teknik kan i framtiden användas för att skapa avancerade 3D-modeller av alla möjliga typer av fysiska objekt, alltifrån modeller av individuella människor till modeller av hela planeten i helhet.

Hur modellen fungerar

NVIDIAs nya AI-modell bygger på tekniken som kallas neural radiance fields (NeRFs). NeRFs-tekniken kan med hjälp av en begränsad mängd bilder på ett objekt från olika vinklar, förutspår vilka ljuskällor som finns i alla punkter på scenen, samt ljuskällornas färg, intensitet, och riktning. Utifrån dessa förutsägelser kan modellen fylla i information mellan bilderna som den fått som träningsdata, och bygga ihop kontinuerliga 3D-modeller av scenen.

NVIDIAs egna modell, som är en vidareutveckling av NeRFs, kallas Instant NeRF. Deras modell använder sig av en en multiresolution structure, som simplifierar algoritmens struktur och gör att man kan köra den på en enda modern GPU. Detta har gjort att algoritmen kunnat köras upp till 1000 gånger snabbare, utan att behöva kompromissa på kvaliteten.

Styrkor med AI-modellen

Det som skiljer NVIDIAs nya AI-modell från gamla liknande modeller är att den är förvånansvärt snabb. Modellen kräver endas några minuters träning för att skapa 3D-scener på några millisekunder. Äldre varianter av liknande AI-modeller har behövt timmar av träning och flera minuter för att skapa liknande scener. Dessutom gör modellen detta med endast en grafikprocessor (GPU), medan andra modeller har krävt tusentals GPU:er för att göra liknande processer.

Hur modellen kan användas i praktiken

NVIDIA tänker sig att tekniken kan användas för att hjälpa robotar och självkörande bilar att visualisera och förstå världen runt dem bättre. Det kan också användas i framtida tekniker för att skapa high-fidelity avatarer av människor som kan importeras in i virtuella världar som simulerar verkliga scener. Modellerna kan sedan modifieras av designers och byggas vidare på mer i virtuella utrymmen. Inom dessa användningsområden så är det till stor fördel att deras nya modell är snabbare och kräver färre GPU:er än andra modeller, vilket är viktigt om sådan teknik skall kunnas appliceras i en större skala i praktiken.

Satt i ett perspektiv

Denna nya modell och teknik går hand-i-hand med många andra nya tekniker som strävar efter att minska glappet mellan den digitala och fysiska världen. Likt Metas vision om att skapa ett metaverse, så bidrar denna modell till möjligheten att skapa virtuella världar som simulerar den fysiska världen till allt större grad. NVIDIA har bland annat visionen att skapa en Digital Twin av jorden genom användningen av denna teknik.

Sammanfattningsvis kan tekniker såsom denna AI-modell av NVIDIA vara ett nytt startskott för människans förmåga att digitalisera den fysiska världen. Tillsammans med visioner såsom Metas modell av en framtida AI-superdator, så visar denna typ av forskning starkt på vart framtidens teknik är påväg.

UX Connections, the UX design agency with UX/UI consultants to help your digital product succeed.