Non è magia.

L’Image-Scaling Attack è la nuova minaccia informatica per il mondo della “Computer Vision” che sta ultimamente spopolando nel mondo degli hacker e sta mettendo a rischio molti sistemi informatici.

Dopo averci deliziati con analisi di grandissimi dati, riconoscimento delle immagini, invenzione di nuove lingue (con risvolti interessanti) e persino generazione di meravigliosi e super realistici blog-post di acquisizione di startup, anche le AI sono finite nel mirino dei pirati informatici.

Grazie ad una “falla” trovata nelle procedure di manipolazione di immagini, è infatti possibile convincere un’AI che un gatto in realtà è un cane, aprendo così una nuova era di terrore per le nostre amate Intelligenze Artificiali.

Adversarial Attack, ovvero come distruggere un’AI

Era l’ormai lontano 1949 quando John von Neumann, padre dell’architettura dei computer, teorizzò l’esistenza di un possibile programma che potesse replicarsi da solo su altri computer, facendo così nascere il concetto di virus informatico e, dal 1971 con l’avvento di “Creeper“, è stata una continua catena di nascite e morti di malware.

Chi per diletto e chi per lavoro, in molti da sempre cercano di violare o trovare exploit nei sistemi informatici e, inevitabilmente, anche le AI sono entrate nel loro mirino, facendo nascere una nuova categoria di hacking: l’Adversarial machine learning (o Adversarial Attack).

Queste speciali tecniche di hacking sfruttano, sostanzialmente, le debolezze nei modelli di apprendimento delle AI introducendo dati “inquinati” per far fallire l’intelligenza artificiale nel suo compito.

L’esempio più interessante di Adversarial Attack è quello escogitato da 3 studenti dell’EAVISE Technology Campus che, per non essere identificati dalle AI, hanno individuato dei pattern stampabili che impediscono ai sistemi di “computer vision” di riconoscere (in questo caso) una persona.

Anche i messaggi di spam (o scam) spesso usano questa tecnica dell’Adversarial Attack inserendo una giusta quantità di errori ortografici che fanno credere ai filtri di posta (intelligenze artificiali opportunamente addestrate) che si tratta di mail “genuine”.

La tecnica dell’Image-Scaling Attack

Per quanto riguarda l’Image-Scaling Attack, l’idea di base è sempre la stessa, ovvero, quella di riuscire in qualche modo a “fregare” l’AI in modo da fornire un risultato errato.

Per riuscire nell’intento bastano solo 4 semplicissimi passaggi:

1. Trovare un’immagine “sorgente” a piacere;
2. Trovare l’immagine che si vuole ottenere dopo il downscale (detta immagine “target”);
3. Unirle in maniera opportuna (in base all’algoritmo usato dall’AI);
4. Dare l’immagine finale all’AI ed osservare soddisfatti il risultato.

A fare la “magia”, oltre all’accurata fusione delle immagini, è proprio l’algoritmo di resize stesso. Grazie alla continua diffusione delle librerie di codice e gli algoritmi ormai consolidati, il malintenzionato può conoscere facilmente quale codice si occupa del downscale e, con l’opportuna manipolazione, riuscire a far trasformare un’immagine apparentemente innocua all’occhio umano in un target scelto, attuando così l’Image-Scaling Attack.

Allo scale piace cambiare

Non è tutta questione di magia e, come ripetono tutti gli informatici, il computer non sbaglia mai. Il risultato che si ottiene, come detto, in realtà è la semplice elaborazione dell’immagine in fase di downscale.

Quando viene effettuato il downsize di una foto, l’algoritmo usato divide l’immagine in una serie di blocchi di pixel che poi verranno rimpiccioliti. Per ridurre la grandezza di questi blocchi si usano delle apposite funzioni matematiche (detti “kernel”) che si occupano di diminuire il numero di pixel nel blocco, solitamente usando come riferimento il centro del blocco preso in esame e dando una maggior importanza ai pixel più vicini al centro. La fusione di questi pixel e poi l’unione dei blocchi ridimensionati dà l’immagine finale.

Non è difficile pensare quindi come il malintenzionato possa ottenere un’immagine completamente differente al termine della procedura ed innescare quindi l’Image-Scaling Attack.

Non un semplice resize

Perché un’AI possa imparare dai dati che le si vuole trasmettere, è necessario prima renderli “digeribili” per il modello di apprendimento dell’AI.

Nel mondo della computer vision, molto spesso vengono applicate delle modifiche alle immagini in modo da poterne trarre il massimo delle informazioni e, tra queste, c’è anche proprio il downscale, per portare le immagini ad una dimensione predefinita.

Ed è esattamente questo il punto: una persona ignara (o malintenzionata) potrebbe inserire un’immagine apparentemente normale di una tazzina da caffè che però durante il resize diventa un gatto. Al termine del resize, si può dichiarare all’AI che si tratta di una tazzina, educandola a riconoscere i gatti come tazzine da caffè.

Lo stesso, comunque, vale anche nel caso di riconoscimento di immagini: inserendo l’immagine appositamente modificata, dopo il procedimento di downscale, si può ottenere come risultato che l’AI in maniera insensata trovi un gatto nella foto di una tazzina da caffè.

Image-Scaling: un problema subdolo

Nella realtà, il problema è ben più grave di quanto si presenti. Oltre allo sconforto nel vedere un risultato errato, in realtà sotto l’Image-Scaling si cela una trappola (anche mortale) che è collegata all’ampio uso delle AI nel riconoscimento delle immagini, specialmente nei sistemi di sorveglianza o nel riconoscimento degli ostacoli nelle auto a guida autonoma.

Facciamo un esempio più concreto, come mostrato sotto: un malintenzionato potrebbe camuffare un semplicissimo quadrato verde all’interno dell’immagine di uno “stop” usata dall’AI di un sistema di guida autonoma. Il semplice quadrato ottenuto dopo il downscale impedisce di fatto all’Intelligenza Artificiale di riconoscere i futuri segnali di “stop” in quanto manca il quadrato all’interno.

Un pesante uso dell’Image-Scaling Attack, infatti, potrebbe inquinare la base dati di apprendimento dell’AI, portandola a riconoscere oggetti in maniera completamente sbagliata o, nella via peggiore, non riconoscere nulla.

E’ quindi molto importante riuscire a difendersi da questa forma di Adversarial Attack, specialmente nella previsione futura di un uso sempre più globale delle AI.

Un importante monito per il futuro

Dal 1949 ad oggi non è cambiato nulla in merito ai continui moniti sulla fragilità dei sistemi informatici. Non bisogna mai abbassare la guardia in nessun caso perché ci sarà sempre qualcuno (o qualcosa) che riuscirà a violare anche il più robusto dei sistemi.

Visto anche il continuo, e sempre più vasto, uso delle AI anche nei settori più delicati, come la guida autonoma, bisogna prestare un’attenzione particolare a ciò che viene usato come base di apprendimento.

La strada per un futuro completamente consegnato in mano ai computer, comunque, è molto distante, quindi per il momento c’è ancora poco di che preoccuparsi.

Nel mentre, quello che possiamo fare per assicurarci un futuro tecnologicamente robusto per le AI, è semplicemente risolvere milioni di CAPTCHA… d’altronde, perché Google chiede sempre di selezionare tutte le strisce pedonali, semafori, automobili, eccetera?