Home Notizie recenti Un nuovo modo per addestrare algoritmi di rilevamento deepfake ne migliora il...

Un nuovo modo per addestrare algoritmi di rilevamento deepfake ne migliora il successo

152
0

Immagini di fusione. Il diagramma superiore mostra il tipico processo di creazione di deepfake per i dati di addestramento. Il diagramma in basso mostra il modo in cui il team ha migliorato i dati di allenamento. Credito: ©2022 Yamasaki e Shiohara

I deepfake sono immagini e video che combinano materiale sorgente misto per produrre un risultato sintetico. Il loro utilizzo varia da banale a dannoso, quindi i metodi per rilevarli sono ricercati, con le ultime tecniche spesso basate su reti addestrate utilizzando coppie di immagini originali e sintetizzate. Un nuovo metodo sfida questa convenzione addestrando algoritmi utilizzando nuove immagini sintetizzate create in un modo unico. Conosciuti come immagini auto-miscelate, questi nuovi dati di addestramento possono migliorare in modo dimostrabile gli algoritmi progettati per individuare immagini e video deepfake.

Vedere per credere, così dicono. Tuttavia, dall’avvento dei media visivi registrati, c’è sempre stato chi cerca di ingannare. Le cose vanno dal banale, come i film falsi sugli UFO, a questioni molto più serie come la cancellazione di personaggi politici dalle fotografie ufficiali. I deepfake sono solo l’ultimo di una lunga serie di tecniche di manipolazione e la loro capacità di passare per realtà convincenti sta superando di gran lunga il progresso degli strumenti per individuarli.

Il professore associato Toshihiko Yamasaki e la studentessa laureata Kaede Shiohara del Computer Vision and Media Lab dell’Università di Tokyo esplorano le vulnerabilità legate all’intelligenza artificiale, tra le altre cose. La questione dei deepfake ha catturato il loro interesse e hanno deciso di studiare modi per migliorare il rilevamento del contenuto sintetico.

“Esistono molti metodi diversi per rilevare i deepfake e anche vari set di dati di addestramento che possono essere utilizzati per svilupparne di nuovi”, ha affermato Yamasaki. “Il problema è che i metodi di rilevamento esistenti tendono a funzionare bene entro i limiti di un set di addestramento, ma meno bene su più set di dati o, soprattutto, quando si confrontano con esempi all’avanguardia del mondo reale. Abbiamo sentito la strada per migliorare i rilevamenti di successo potrebbe essere ripensare il modo in cui vengono utilizzati i dati di addestramento. Questo ci ha portato a sviluppare quelle che chiamiamo immagini auto-miscelate (altrimenti note come SBI).”

Un nuovo modo per addestrare algoritmi di rilevamento deepfake ne migliora il successo

Trova la differenza. Un esempio di alcune foto deepfake è stato realizzato utilizzando diversi metodi di manipolazione (DF, F2F, FS e NT). Un rilevatore di deepfake è stato quindi addestrato utilizzando un set di dati consolidato di campioni deepfake (FF++), mentre un rilevatore di duplicati è stato addestrato utilizzando le immagini auto-miscelate (SBI) dei ricercatori. Ai due rilevatori sono state fornite le foto deepfake di cui sopra. Le colonne di immagini in falsi colori mostrano la differenza tra l’addestramento utilizzando i set di dati esistenti e l’addestramento utilizzando gli SBI. Credito: © 2022 Yamasaki e Shiohara

I dati di addestramento tipici per il rilevamento di deepfake sono costituiti da coppie di immagini, comprendenti un’immagine sorgente non manipolata e un’immagine contraffatta controparte, ad esempio, in cui il viso o l’intero corpo di qualcuno è stato sostituito con quello di qualcun altro. L’allenamento con questo tipo di dati ha limitato il rilevamento a determinati tipi di danneggiamento visivo o artefatti risultanti dalla manipolazione, ma ne ha trascurati altri. Quindi hanno sperimentato set di allenamento comprendenti immagini sintetizzate. In questo modo, potrebbero controllare i tipi di artefatti contenuti nelle immagini di addestramento, il che a sua volta potrebbe addestrare meglio gli algoritmi di rilevamento per trovare tali artefatti.

“Sostanzialmente, abbiamo preso immagini originali di persone da set di dati consolidati e introdotto diversi artefatti sottili risultanti, ad esempio, dal ridimensionamento o dalla rimodellamento dell’immagine”, ha affermato Yamasaki. “Quindi abbiamo unito quell’immagine con la fonte originale inalterata. Il processo di fusione di queste immagini dipenderebbe anche dalle caratteristiche dell’immagine sorgente: in pratica sarebbe stata creata una maschera in modo che solo alcune parti dell’immagine manipolata potessero arrivare all’output unito Molti SBI sono stati inseriti nel nostro set di dati modificato, che abbiamo poi utilizzato per addestrare i rilevatori”.

Il team ha scoperto che i set di dati modificati hanno migliorato i tassi di rilevamento accurati di circa il 5-12%, a seconda del set di dati originale con cui sono stati confrontati. Questi potrebbero non sembrare enormi miglioramenti, ma potrebbero fare la differenza tra qualcuno con intenti dannosi che riesce o non riesce a influenzare in qualche modo il proprio pubblico di destinazione.

“Naturalmente, desideriamo migliorare questa idea. Al momento, funziona meglio con le immagini fisse, ma i video possono avere artefatti temporali che non possiamo ancora rilevare. Inoltre, i deepfake sono solitamente sintetizzati solo parzialmente. Potremmo anche esplorare modi per rilevare interamente sintetici anche le immagini”, ha detto Yamasaki. “Tuttavia, prevedo che nel prossimo futuro questo tipo di ricerca potrebbe farsi strada sulle piattaforme di social media e altri fornitori di servizi in modo che possano segnalare meglio le immagini potenzialmente manipolate con una sorta di avviso”.


Articolo precedenteI ricercatori progettano robot “socialmente consapevoli” in grado di anticipare ed evitare in sicurezza le persone in movimento
Articolo successivoLe tue ricerche e i tuoi tweet su Google potrebbero aiutare a prevedere la prossima epidemia di malattia