Reformer, la nuova e comprensiva AI di Google

Un AI che ha imparato a leggere

Proprio nel momento in cui si pensava fosse finita l’eterna corsa delle AI, Google rilascia nel suo forum ufficiale una notizia incredibile: è nato Reformer, il successore di Transformer. No, non hanno ancora insegnato all’ AI come riprodursi e fare figli, bensì è nato un nuovo sistema per fondare i meccanismi di apprendimento di un’intelligenza artificiale e nonostante la sua incredibile giovinezza, ha già imparato a leggere! Ma questa non è la vera (e unica) novità.

Less is more

A rendere veramente unico questo annuncio non è solo il fatto che un AI abbia “imparato a leggere” o “capire” le immagini, bensì la tecnologia che sta sotto. A differenza del suo predecessore, Reformer riesce a performare infinite volte meglio e il tutto ad un costo bassissimo. Transformer per riuscire ad eseguire anche task banali, richiedeva la bellezza di TeraByte di memoria RAM e senza nemmeno fornire un risultato molto accurato, mentre la neonata Reformer riesce ad ottenere ancora di più ma al solo costo di 16GB di memoria. Si parla di riuscire a sintetizzare interi articoli di Wikipedia attraverso la semplice analisi dei testi che le vengono forniti.

Reformer’s Key!

Una macchina che soffre di amnesia

La sfida più grande che ha dovuto affrontare Reformer è stata proprio quella della memoria. Ma non la memoria occupata di cui parlavo prima, bensì ricordarsi il contesto e le informazioni già immagazzinate! Il cervello umano, come ben si sa, è una macchina estremamente complessa e ricca di infinite trame neuronali che riescono a dare sempre una risposta ad ogni stimolo e allo stesso modo, un AI deve riuscire a compiere la stessa attività. La vera sfida però non è ricordare più informazioni possibili, ma cercare di ottenere il maggior numero di legami tra queste e soprattutto riuscire a tornare nel passato.

Primo render esclusivo di come apparirà Reformer una volta rilasciata la versione finale 😉

Per riuscire a memorizzare in maniera concreta un contenuto (che sia un articolo o un’immagine) bisogna capire tutti i legami dei vari contesti e dei vari periodi, non solo spezzoni di questo. E’ lo stesso motivo per cui esiste la storia, comprendere cosa è successo nel passato per capire come funziona il presente e prevedere come potrebbe essere il futuro, Reformer ha imparato proprio questo! Mentre Transformer riusciva a “capire” solamente un contesto molto piccolo alla volta, Reformer riesce ad interpretare un intero testo, anche molto complesso.

Come è possibile?

Capire come faccia Reformer ad imparare testi interi non è facile, però allo stesso tempo  è estremamente banale. Tralasciando i problemi di memoria e altre finezze tecniche, il problema più grande come abbiamo visto prima è quello di riuscire a “viaggiare nel tempo“, soprattutto nel passato, tra vari contesti su cui si concentra l’AI.

Transformer, per sua sfortuna, non era molto bravo in questo e per riuscire a compiere questi viaggi aveva bisogno di enormi quantità di memoria e di potenza di calcolo faticando comunque molto a riuscirci. Il modello era semplice: ogni volta che Transformer leggeva un paragrafo di un testo, creava un “livello” logico che era formato da tutte le possibili combinazioni di parole che aveva quel paragrafo e questo veniva ripetuto per tutti i paragrafi del testo, fino ad ottenere una super struttura di livelli con tutta la comprensione dei diversi punti, arrivando però a generare fino a 10 miliardi di collegamenti senza comunque poter fare collegamenti contestuali tra i paragrafi.

Diagramma di flusso dell’algoritmo LSH

Reformer, invece, addotta un algoritmo molto più snello, chiamato LSH (Locality-sensitive hashing), che gli permettono di salvare i contenuti dei vari paragrafi in un hash (una sequenza numerica) che ne descrive le parole chiave, e al termine della lettura li unisce in tanti blocchi diversi riuscendo ad ottenere delle catene lunghissime di collegamenti contestuali risparmiando enormi quantità di spazio. In aggiunta, possiede anche la tecnologia dei “livelli reversibili” che, a differenza del modello precedente, non sono più generati singolarmente per ogni paragrafo, bensì nascono prendendo solo le differenze tra il livello precedente ed il successivo potendo quindi “ricostruire” la storia da qualsiasi punto in maniera molto veloce risparmiando ancor più spazio.

L’esame pratico

La lezione è finita, ora passiamo alla pratica! Di cosa è capace quindi questa AI? Un primo uso sperimentale che ha fatto Google è stato quello di usare Reformer per cercare di “ricostruire” delle immagini tagliate e i risultati sono a dir poco sensazionali.

In alto, le immagini tagliate che hanno dato in pasto a Reformer, in basso la versione ricostruita

Certo, non è moltissimo e le immagini sono veramente di scarsissima qualità però questo è solo l’inizio e l’IA deve ancora imparare molto.

Il futuro di Reformer

L’idea di Google è molto chiara, ed è quella di riuscire ad automatizzare molti aspetti della mente umana come appunto ricostruire delle immagini o sintetizzare riassunti e non solo! I campi d’uso sono essenzialmente infiniti, si può spaziare dalla traduzione di testi fino a disegnare nuove immagini (o creare nuove youtuber come Kizuna) contestualizzate ed è proprio questa l’essenza dell’AI, ovvero, poter uscire dagli schemi computazionali per essere più simili a noi.

E’ chiaro che Reformer è solo un inizio delle possibili ed infinite AI che possono nascere in questa ennesima rivoluzione ma è proprio questo il punto, che il bello deve ancora venire. E poi, parliamoci chiaro, a chi non piacerebbe un AI che ti fa i riassunti delle materie che devi studiare o dei libri che devi leggere per scuola? 😉

Link utili:

• Transformer, usi e funzionamento – Transformer: A Novel Neural Network Architecture for Language Understanding
• Reformer, l’evoluzione di transformer – Reformer: The Efficient Transformer