Meta AI introducerar “Segment Anything”

Wendy Zhou, Journalist
@uxconnections

Meta presenterade den 5 April, 2023, en ny AI-modell som kallas Segment Anything Model (SAM). Modellen är specialiserad på att kunna identifiera och separera enskilda objekt utifrån bilder och videos. Denna teknik kan användas i bland annat AR, VR, fotoredigering, och i vetenskapliga analyser.

Nuvarande teknik

Under flera år har det pågått utveckling inom teknik som kan segmentera enskilda objekt utifrån bilder och videos. Den senaste tidens framgångar har kommit från djupinlärningstekniker i form av CNNs (eng: convultional neural networks) och dess olika varianter. CNNs har visat sig vara exceptionellt effektiva för bildanalys.

CNNs kan lära sig och extrahera relevanta drag från bilder och videos genom att analysera stillbilder med flera olika lager av analyser. Genom att analysera pixlar på bilder kan CNNs förutspå pixelbaserade masker av olika objekt. CNNs kan dessutom lära sig från stora mängder data och kan göra detta utan manuell inblandning av människor.

Om Segment Anything

Metas nya AI-modell Segment Anything är även den baserad på CNNs. Det som skiljer denna AI från många andra är att företaget har skapat en av de största databaserna för segmentation som någonsin funnits. Deras AI-system har tränats på mer än 11 miljoner bilder och identifierat mer än 1 biljon masker. Därför kallar de datasetet för “Segment Anything 1-Billion mask dataset”, förkortat (SA-1B).

Företaget menar på att denna AI i framtiden skall kunna användas för att redigera och analyser bilder samt användas i AR- och VR-applikationer. Redan nu har de släppt modellen som open-source, vilket betyder att vem som helst kan använda det. För den som är intresserad kan man testa deras demo med sina egna bilder. 

Egna inmatningar

Bild: Skärmavbild av segment-anything.com/demo 

Segment Anything går att interagera med som användare genom att manuellt välja områden, objekt, eller punkter på bilden som man vill att AI:n ska fokusera på. Detta är då utöver funktionen av automatisk segmentering som den också erbjuder.

I framtiden är tanken även att användare skall kunna koppla modellen med andra enheter såsom eyetrackers och AR/VR headsets så att modellen kan segmentera objekt som man fokuserar på. Utöver det skulle systemet även kunna kopplas med text-inputs, som att till exempel skriva in “katt”, för att få modellen att segmentera alla katter ur en bild.

3D-modeller och generaliseringar

Bild: segment-anything.com

En annan spännande funktion är att maskerna som Segment Anything identifierar, kan användas som data till andra AI-modeller, såsom 3D-modeller. Till exempel hade man kunnat med Segment Anything kunna identifiera en möbel, som sedan matas in i ett 3D-modelleringsprogram, och som sedan kan printas ut med en 3D-printer. Det skulle öppna upp för många nya möjligheter.

Segment Anything kan även generalisera objekt från tidigare inlärningar, och applicera det på nya bilder utan extra träning. Detta gör att modellen till exempel kan analysera målade bilder där objekt efterliknar objekt från fotografier.

Utvecklingsområden

Segment Anything är ännu inte färdigutvecklad. Det som återstår är bland annat förmågan att analysera videos. För tillfället kan modellen ta ‘frames’, vilket är stillbilder från videos, för att analysera – men den kan ännu inte analysera videos i helhet. Dessutom är modellen ännu begränsad till att identifiera masker av objekt. Den kan inte generera etiketter, vilket är namn eller igenkänning på vad maskerna representerar. 

Trots att det finns utvecklingsområden för modellen så är den dock redan mycket utvecklad. Det faktum att modellen är släppt som open source kan också bidra till att vi ser många intressanta utvecklingar i närliggande områden och applikationer. För den som är intresserade av att veta mer kan man besöka den officiella hemsidan.

UX Connections, the UX design agency with UX/UI consultants to help your digital product succeed.