Søg på ortofoto med deep learning

Eksemplet viser resultatet af vores bestræbelser på at lave en version af det, som Descartes Labs kalder geovisual search, men tilpasset et ortofoto-datasæt over Danmark. Det er blevet udviklet af Alexandra Instituttet i samarbejde med DHI GRAS.

Datasættet er delt op i 48 mio udklip, og metoden gør det muligt at søge alle disse udklip igennem på 300 millisekunder. Det kan afprøves ved at klikke et vilkårligt sted på kortet (prøv f.eks. at klikke på en gylletank), og man vil herefter få vist de 100 udklip, der ifølge metoden ligner mest.

Metoden fungerer ved, at to neurale netværk bruges til at skabe en meget kompakt repræsentation af det visuelle indhold i hvert enkelt udklip. Dette bevirker, at vi får en så lille datamængde (omtrent 3 gb for hele Danmark), at den kan være i hukommelsen på computeren og søges lynhurtigt igennem.

Den visuelle sammenligning er den nuværende demo baseret på et neuralt netværk, der ikke er trænet på jordobservationsdata men almindelige fotos, og derfor har metoden en forkærlighed for at finde billeder, hvor det søgte objekt har den samme orientering som i det billede, man har klikket på.

Klik i billedet i eksemplet, fx. på en gylletank, og få vist de 100 udklip, der ifølge metoden ligner mest.