Ricordi quando i traduttori automatici erano un po’ goffi e i chatbot sembravano non capire mai cosa volessi davvero?
Beh, tra il 2018 e il 2019, qualcosa di straordinario è successo nel mondo dell’Intelligenza Artificiale: l’AI ha imparato a “parlare” in modo molto più naturale, a capire meglio il nostro linguaggio e persino a scriverne di nuovo. Questo è stato l’inizio di una vera e propria rivoluzione nel modo in cui interagiamo con le macchine, grazie a modelli innovativi come BERT e GPT-2.
Il Segreto del “Word Embedding”
Prima di questi giganti, l’AI aveva già iniziato a fare piccoli passi per capire le parole. Immagina ogni parola come un punto in uno spazio gigantesco, dove le parole con significati simili (tipo “re” e “regina”) sono vicine tra loro. Questa tecnica si chiama Word Embedding ed è stata una delle prime scintille per far sì che i computer capissero le relazioni tra le parole, non solo come singole entità ma nel loro contesto. Era un po’ come insegnare ai computer a sentire il “profumo” delle parole.
- Per approfondire il concetto di Word Embedding:
- Articolo divulgativo: Un buon punto di partenza è l’articolo di Google AI Blog, anche se più recente, spiega in modo accessibile i concetti fondamentali: Word Embeddings (Google AI Blog). (Questo articolo è del 2016, ma il concetto di Word Embedding è fondamentale e ha anticipato i modelli più grandi).
L’arrivo dei “Trasformatori”
La vera svolta, però, è arrivata con una nuova architettura chiamata Transformer, introdotta da Google nel 2017. Senza scendere in tecnicismi, i Transformer sono un po’ come un nuovo tipo di “cervello” per l’AI, molto più efficiente nel gestire le sequenze di parole e nel capire le dipendenze a lungo raggio in una frase. Immagina che l’AI possa tenere d’occhio ogni parola di una frase e capire come si lega a tutte le altre, anche quelle lontane. Questo ha aperto le porte a una comprensione del linguaggio molto più profonda.
- La fonte originale dei Transformer:
- Paper scientifico: Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). Attention Is All You Need. NIPS 2017. Questo è il paper fondamentale che ha introdotto l’architettura Transformer. È un testo tecnico, ma la sua pubblicazione nel 2017 è il presupposto per tutto ciò che è successo dopo. Puoi trovarlo su arXiv: Attention Is All You Need (arXiv).
BERT: L’AI che capisce il contesto come nessun altro
Nel 2018, Google ha rilasciato BERT (Bidirectional Encoder Representations from Transformers), e il mondo dell’AI è impazzito (in senso buono!). BERT è stato il primo modello a sfruttare appieno la potenza dei Transformer per capire il linguaggio in modo “bidirezionale”. Cosa significa? Che invece di leggere una frase solo da sinistra a destra (come facevano le AI precedenti), BERT la leggeva sia da sinistra a destra che da destra a sinistra, riuscendo a cogliere il contesto di ogni parola in modo molto più completo.
Immagina la frase: “La banca del fiume è un luogo pacifico.” e “Ho depositato i soldi in banca.” Per un’AI “vecchia”, la parola “banca” potrebbe essere solo una parola. Per BERT, grazie al contesto, è chiaro che nel primo caso si parla di un luogo vicino all’acqua, nel secondo di un’istituzione finanziaria. Questo ha reso BERT incredibilmente bravo in compiti come rispondere a domande, riassumere testi e persino migliorare le ricerche su Google.
- La fonte di BERT:
- Paper scientifico: Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Chapter of the Association for Computational Linguistics (NAACL) 2019. Anche questo paper è disponibile su arXiv: BERT (arXiv).
- Articolo divulgativo di Google AI Blog: Per una spiegazione più accessibile direttamente da Google: Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Understanding (Google AI Blog). Questo articolo, pubblicato nel novembre 2018, è la “notizia” che ha reso noto BERT al grande pubblico e alla comunità.
GPT-2: L’AI che scrive in modo sorprendente
Subito dopo BERT, nel 2019, OpenAI ha presentato GPT-2 (Generative Pre-trained Transformer 2). A differenza di BERT, che era bravo a capire, GPT-2 era incredibilmente bravo a generare testo. Data una frase di inizio, poteva continuare a scrivere storie, articoli, poesie, in modo sorprendentemente coerente e naturale.
Il suo lancio ha fatto molto scalpore perché era così bravo che OpenAI, inizialmente, ha deciso di non rilasciare la versione più potente per paura che potesse essere usata per creare fake news su larga scala. Questo ha acceso un dibattito importantissimo sull’etica dell’AI e sul suo potenziale uso improprio. GPT-2 ha dimostrato che l’AI non solo poteva comprendere il linguaggio, ma anche produrlo con una fluidità tale da essere difficile da distinguere da quello umano.
- La fonte di GPT-2:
- Articolo di OpenAI: Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. Questo non è un paper scientifico formale, ma un post di blog con un whitepaper allegato, che ha accompagnato il rilascio di GPT-2 e ha spiegato la decisione di non rilasciare il modello completo: Language Models are Unsupervised Multitask Learners (OpenAI Blog). Pubblicato nel febbraio 2019, è la “notizia” chiave per GPT-2.
Le scoperte di BERT e GPT-2 hanno avuto un impatto immediato e duraturo. Improvvisamente, i motori di ricerca sono diventati più intelligenti, i traduttori automatici hanno fatto un salto di qualità enorme, e i chatbot hanno iniziato a essere davvero utili, non solo per rispondere a domande semplici, ma per avere conversazioni più complesse.
Questi modelli hanno anche aperto la strada a nuove applicazioni: dalla creazione automatica di contenuti (articoli, descrizioni di prodotti), all’analisi di grandi volumi di testo per estrarre informazioni importanti, fino all’assistenza nella scrittura per professionisti di ogni settore.
In DEV4U stiamo osservando e studiando possibili evoluzioni dei nostri software con l’uso di questi modelli per creare soluzioni innovative: assistenti virtuali più intelligenti, sistemi di analisi testuale per ottimizzare i processi aziendali, strumenti per generare contenuti di qualità. La capacità di lavorare con questi modelli, di addestrarli per compiti specifici e di integrarli nelle piattaforme esistenti, è diventata una competenza chiave per chi vuole offrire soluzioni AI di valore.
L’AI che parla non è più fantascienza, ma uno strumento da integrare… a nostra disposizione.
Per avere maggiori informazioni su questo argomento vi invitiamo a contattarci.
Fisseremo un incontro per parlarne e approfondire il tema.
Contattaci via mail scrivendo a info@dev4u.it, non perdere altre opportunità!
Autore/i dell’articolo:
Maurizio Patitucci – BIO – Linkedin – Email
Business Analyst | Project Manager | Account Manager
