Home Notizie recenti La nuova app per telefoni cellulari mostra come si adatteranno le scarpe...

La nuova app per telefoni cellulari mostra come si adatteranno le scarpe in base alla forma 3D del piede dell’utente

54
0

Credito: Università di Cambridge

Snapfeet è una nuova app per telefoni cellulari che mostra come si adatteranno le scarpe in base alla forma 3D del piede dell’utente. Offre anche una semplice visualizzazione in realtà aumentata (AR) di come appariranno le scarpe ai piedi.

La tecnologia dell’app è progettata per i rivenditori di scarpe online da offrire ai propri clienti, per fornire un montaggio accurato di diversi stili di scarpe e l’opportunità di vedere come appariranno le scarpe ai piedi dell’acquirente. Ciò dovrebbe comportare la restituzione di meno calzature. C’è un enorme costo in rendimenti, sia monetari che ambientali. Molti rivenditori di scarpe guadagnano pochissimo dalle vendite online a causa dell’alto tasso di resi, quindi l’obiettivo di questa app è cambiare questo.

Il professor Roberto Cipolla e il suo team, il dottor James Charles e il dottorando Ollie Boyne del gruppo Machine Intelligence, hanno creato l’app lavorando in collaborazione con Giorgio Raccanelli e il team di Snapfeet.

L’app Snapfeet consente al cliente di indossare le scarpe virtualmente tramite il proprio telefono grazie alla Realtà Aumentata (AR) e trovare in pochi istanti la calzatura perfetta.

Snapfeet crea, in tempo reale, una copia 3D accurata dei piedi dell’utente. In pochi secondi è possibile realizzare un modello 3D di entrambi i piedi, semplicemente scattando alcune fotografie con il cellulare da diversi punti di vista.

Utilizzando la forma del piede dell’utilizzatore e confrontandola con la geometria della calzatura, Snapfeet è quindi in grado di consigliare la taglia corretta per ogni tipologia di calzatura, comunicando all’utilizzatore il grado di comfort ottenibile nelle diverse parti del piede: punta, collo del piede, tallone e suola.

Giorgio Raccanelli afferma: “Scarichi l’app Snapfeet, ti registri, scatti alcune foto tutto il giro del piede e apparirà un modello 3D del piede, che ti permetterà di iniziare subito a fare acquisti. L’applicazione confronta automaticamente l’immagine tridimensionale del il piede con lo stile di scarpa scelto, mostrandoti come si adatterà, o suggerirà direttamente uno stile più adatto alla forma del tuo piede.”

Snapfeet ha i suoi primi grandi clienti in Hugo Boss e Golden Goose.

La società madre di Snapfeet, Trya, ha iniziato a concedere in licenza un nuovo software di fotogrammetria dal gruppo del professor Cipolla nel 2011 tramite Cambridge Enterprise.

La tecnologia fotogrammetrica originale utilizzava foto con uno schema di calibrazione. Dopo aver scattato queste foto, vengono caricate su un server e un algoritmo stereo multi-view sviluppato a Cambridge ha trovato corrispondenze multiple di punti e ha generato un modello 3D che spiega tutti i diversi punti di vista e localizza le telecamere nello spazio mondiale. Questo era lo stato dell’arte per la precisione della ricostruzione nel 2011.

Dal 2019 il team del professor Cipolla collabora con Snapfeet per evolvere la tecnologia di fotogrammetria originale in un’app per cellulare che ricostruisca la forma 3D del piede dal vivo sul telefono e senza bisogno di alcun pattern di calibrazione e per dimensionare e visualizzare correttamente le scarpe in AR.

Il software di fotogrammetria originale era molto preciso fino a 1 mm, ma era lento e difficile da elaborare. La precisione c’era ma l’usabilità no. Inoltre non ha sfruttato alcuna conoscenza dell’oggetto che stava cercando di ricostruire.

Il team ha esaminato come renderlo più veloce e molto più facile da usare ed è nata l’idea di fare tutto su un telefono cellulare senza pattern di calibrazione e senza elaborazione su un server. Sono stati in grado di sfruttare nuovi entusiasmanti sviluppi nell’apprendimento automatico e potenti processori sui moderni telefoni cellulari.

“Siamo stati in grado di sfruttare i nuovi sviluppi del machine learning (deep learning) per il riconoscimento di oggetti 3D e i sensori avanzati e i potenti processori sui moderni telefoni cellulari per eseguire gli algoritmi di ricostruzione in tempo reale sul telefono. In sintesi possiamo combinare un modello del piede e nuovi algoritmi di apprendimento profondo per il riconoscimento di curve e superfici che ci consentono di eseguire l’algoritmo di ricostruzione 3D in tempo reale sul dispositivo”, ha affermato il professor Cipolla.

Hanno utilizzato un modello di piede parametrizzato che è stato appreso da molte scansioni 3D di piedi utilizzando la tecnologia fotogrammetrica originale. Il modello 3D del piede creato dall’app può essere visualizzato in qualsiasi motore grafico per visualizzare l’aspetto. La forma del piede può essere modificata ed è controllata utilizzando 10 diversi parametri che vengono appresi con l’apprendimento automatico. L’obiettivo è scoprire quale di questi parametri produce un piede 3D che meglio si adatta all’utente. Il modello del piede “maestro” è chiamato “precedente”, abbreviazione di una conoscenza preliminare dell’aspetto dei piedi. L’utente dell’app acquisisce ancora più immagini attorno al piede, ma invece di creare nuvole di punti (come nella fotogrammetria) l’app utilizza l’apprendimento automatico per prevedere le caratteristiche di livello superiore che controllano la forma del piede. I vantaggi sono che l’utente dell’app deve scattare meno foto, il modello del piede restituito ha meno artefatti e il processo è più robusto in caso di errori durante una scansione. Il modello è anche molto più veloce da produrre grazie all’elemento Deep Learning in tempo reale dell’app.

Il team ha appena rilasciato la nuova versione dell’app che può fare tutto sul dispositivo mobile. Il server non è più necessario.

Parlando dell’app, James Charles afferma: “Ho sempre avuto difficoltà a trovare scarpe della taglia corretta. Non mi piace il processo di prova nei negozi e l’impatto ambientale dell’ordinazione di molte scarpe online è stata una grande preoccupazione per me. Tuttavia, prima di questa app non c’erano davvero altre opzioni. Quindi, sono molto motivato a risolvere questo problema e penso che abbiamo già una buona soluzione”.

Inizialmente, quando l’utente apre l’app, c’è una fase di calibrazione in cui l’utente inizia a tracciare la fotocamera utilizzando le ultime funzionalità AR sui telefoni cellulari. Su un telefono iOS che è AR Kit e su un telefono Android è AR Core, usano lo stesso insieme di routine che un’app di interior design utilizzerebbe per mappare una stanza e rappresentare lo spazio fisico in forma grafica.

Durante la fase di calibrazione viene tracciata la fotocamera del telefono. L’app si basa sulla tecnologia AR per tracciare la telecamera e calcolare quanto si sta muovendo, rileva anche il piede e il pavimento fornendo una buona idea dello spazio mondiale. L’app sa dove si trova il telefono con una precisione di 2 mm e tutto viene eseguito entro pochi secondi dal caricamento dell’app.

Quando il telefono si sposta attorno a determinati punti di interesse chiave del piede, vengono rilevati per aiutare a determinare la lunghezza e la larghezza del piede, quindi viene creata una mesh 3D da queste misurazioni e il modello viene quindi sovrapposto al piede dell’utente in AR in modo che possano visivamente convalidare se è corretto.

Questo è un altro passaggio fondamentale e diverso dalla concorrenza. Esistono app sul mercato che possono anche convalidare la ricostruzione del modello in questo modo ma non consentono di regolare attivamente il modello. Snapfeet ti permette di regolare il modello in tempo reale per poi ottenere immediatamente il modello 3D del tuo piede sul telefono stesso senza bisogno del server.

Sono in gioco tre algoritmi del piede di apprendimento automatico. Uno sta costruendo il modello del piede parametrizzato; il secondo è il machine learning che recupera i parametri del modello da immagini multi-view mentre muovi il cellulare. Infine c’è un terzo algoritmo di apprendimento automatico all’interno dell’app che confronta il modello 3D del piede con tutte le forme di scarpe, o “forme”, a cui il cliente è interessato e restituirà quindi una taglia di quelle scarpe che si adatterà meglio al piede dell’utente . Questa è la prova virtuale.

Quando i produttori costruiscono una scarpa, costruiscono una forma di scarpa che è un modello solido dell’interno della scarpa. Intorno alla forma della scarpa creano il design della scarpa. L’ultima scarpa insieme al materiale utilizzato per creare la scarpa determina la dimensione e il livello di comfort che qualcuno avrà quando metterà il piede in quella scarpa.

L’algoritmo prenderà il modello del piede e lo posizionerà digitalmente all’interno di tutte le scarpe che ti interessano e ti darà un punteggio di comfort. Puoi quindi eseguire il rendering di una scarpa virtuale sui tuoi piedi usando l’AR. L’app rileva anche dove si trovano gambe/pantaloni in modo da ottenere il corretto effetto di occlusione, utilizzando l’apprendimento automatico per acquisire il tracciamento del piede.

L’app utilizza anche l’AR una volta recuperata la forma del piede, in modo che l’utente possa avere la sensazione che dovresti provare quando provi la scarpa. L’elemento AR dell’app consente quindi all’utente di vedere come saranno le scarpe sul proprio piede e se si abbinano bene a un abbigliamento particolare.

Gli Snapfeet hanno generosamente finanziato una borsa di studio per il dottorato, consentendo a Ollie Boyne di estendere la ricerca sulla modellazione dei piedi dalle fotografie. L’app è ora disponibile sull’App Store ed è utilizzata e testata da molti venditori di scarpe per ridurre i loro ritorni dalle vendite online. Scarica l’app e provala con le tue gambe.


Articolo precedenteLe nuove strategie di ricerca proposte migliorano il costo computazionale del problema del bike sharing
Articolo successivoMusk si assicura $ 7,1 miliardi per finanziare l’accordo su Twitter