Home Notizie recenti Instagram insegna all’IA a riconoscere le stanze

Instagram insegna all’IA a riconoscere le stanze

96
0
Instagram insegna all'IA a riconoscere le stanze

L’immagine illustra l’approccio multimodale proposto per il riconoscimento della scena video: dato un video, i descrittori visivi e audio vengono estratti, elaborati e fusi per la classificazione della scena rappresentata in uno dei diversi nove ambienti interni. Credito: Estefanía Talavera Martinez

Non è difficile per gli esseri umani riconoscere un ambiente interno, ma insegnare a un sistema di intelligenza artificiale (AI) a distinguere un ufficio da una biblioteca lo è. I sistemi di intelligenza artificiale sono generalmente addestrati per utilizzare solo le immagini e riconoscere uno spazio semplicemente guardando gli oggetti può facilmente andare storto. Ecco perché l’informatica Estefanía Talavera Martínez ha aggiunto una nuova modalità di dati, audio/suono, al materiale didattico esaminato dal sistema di intelligenza artificiale. Ciò ha comportato un alto tasso di successo nel riconoscimento degli spazi interni e un nuovo set di dati di video del mondo reale da utilizzare nella ricerca. Il suo lavoro è stato pubblicato sulla rivista Informatica neurale e applicazioni il 22 gennaio.

Estefanía Talavera Martínez è interessata allo sviluppo di algoritmi per l’analisi automatica del comportamento umano. In lavori precedenti, si è relazionata sui flussi di foto raccolti da fotocamere indossabili per comprendere il comportamento quotidiano delle persone. Queste immagini sono state analizzate per la prima volta utilizzando sistemi di intelligenza artificiale. Fare lo stesso con i video è un passaggio successivo e uno con più applicazioni. “Questo potrebbe essere utilizzato anche per aiutare i robot a trovare dove si trovano o per monitorare gli anziani, ad esempio”, spiega Talavera Martínez. Tuttavia, ciò richiede un sistema automatizzato in grado di identificare gli spazi interni.

Discorso

I precedenti tentativi di insegnare all’IA a riconoscere gli spazi interni non hanno avuto molto successo. “Uno dei motivi è che la maggior parte dei sistemi viene addestrata utilizzando una sola modalità, di solito il riconoscimento di oggetti in una stanza”. Pertanto, Talavera Martínez ha deciso di addestrare il suo sistema utilizzando una seconda modalità: i testi verbali trascritti nei video.

Ha usato video del mondo reale di Instagram per addestrare il suo sistema di intelligenza artificiale. Ciò è stato ottenuto utilizzando le immagini e il parlato. I testi parlati sono stati trascritti utilizzando il software di riconoscimento vocale standard di Google. Talavera Martínez e la sua allora studentessa del Master Andreea Glavan hanno provato diversi approcci combinando informazioni da immagini e audio, per trovare quale approccio avrebbe prodotto il miglior risultato. Ciò ha portato a un sistema in grado di riconoscere i video provenienti da nove diversi tipi di spazi interni con una precisione del 70%, che è superiore rispetto ai sistemi gestiti in precedenza pubblicati. “I test che abbiamo eseguito hanno confermato che l’utilizzo di questa combinazione si traduce in prestazioni migliori di questo sistema rispetto all’allenamento utilizzando solo immagini o testo”, afferma Talavera Martínez.

Comportamento

Inoltre, il progetto di ricerca ha prodotto un set di dati di 3.788 video di Instagram che descrivono nove scene in interni. Inoltre, una selezione di 900 video di YouTube è stata utilizzata per confermare i risultati del programma di formazione. “Abbiamo reso pubblicamente disponibili entrambi i set di dati, i primi nel loro genere”.

Talavera Martínez vorrebbe utilizzare il nuovo sistema di intelligenza artificiale per analizzare ulteriormente il comportamento umano dai video: “Contengono molte informazioni, sia come singoli fotogrammi che come sequenze. È importante sottolineare che il nostro nuovo sistema sarebbe in grado di riconoscere il tipo di ambiente in cui le immagini sono state fatte.”

Oltre allo studio del comportamento, il sistema potrebbe essere utilizzato, ad esempio, per monitorare i pazienti con particolare attenzione all’invecchiamento sano. Potrebbe anche essere usato per identificare esperienze positive che le persone devono rivivere. “E sappiamo che le persone spesso hanno una visione molto soggettiva della propria vita. Il nostro sistema potrebbe fornire loro una registrazione e un’analisi oggettive”.


Articolo precedenteAnalisi delle prestazioni di velivoli evolutivi alimentati a idrogeno
Articolo successivoGli scienziati fabbricano un isolatore termico intelligente