Con molti clienti ci capita di confrontarci sulla questione del “consumo dei token” nelle varie AI oggi operanti sul mercato, e abbiamo deciso di dedicare un articolo divulgativo sul tema. Entriamo nel merito.
Ogni volta, infatti, che un utente invia un prompt a ChatGPT, Claude o Gemini, e ogni volta che il modello risponde, si avvia un processo invisibile ma determinante: il testo viene scomposto in unità discrete chiamate token. Sono la materia prima dell’intelligenza artificiale generativa.
Capire cosa sono, come vengono contati e quanto costano non è una questione accademica: è una competenza operativa indispensabile per chiunque sviluppi, integri o gestisca soluzioni basate su modelli linguistici di grandi dimensioni (LLM).
Cos’è un token AI
Un token AI è la più piccola unità linguistica che un modello di intelligenza artificiale utilizza per elaborare e interpretare il testo. Non corrisponde a nessuna categoria grammaticale tradizionale: non è una parola, non è una sillaba, non è un carattere. È un frammento di testo di lunghezza variabile, determinato non dalla morfologia della lingua ma dalla statistica dei dati su cui il modello è stato addestrato.
Prima che un algoritmo possa interpretare una frase, analizzare un documento o generare una risposta, i dati in ingresso vengono suddivisi in questi elementi discreti e standardizzati, trasformando testo non strutturato in sequenze numeriche che le reti neurali sono in grado di processare.
Vale la pena distinguere subito due termini spesso confusi: la tokenizzazione è il processo algoritmico di suddivisione del testo in unità più piccole; il token è il risultato di quel processo, ovvero il frammento effettivo che viene mappato in un vettore numerico chiamato embedding. In sintesi: la tokenizzazione è il verbo, il token è il sostantivo.
Come funziona la tokenizzazione
Il processo di tokenizzazione non è un passaggio unico: è una pipeline articolata in più fasi.
Normalizzazione. Il testo in ingresso viene prima standardizzato: conversione in minuscolo, rimozione di caratteri speciali, riduzione delle parole alle forme base. Questo passaggio riduce la varianza e permette al modello di generalizzare meglio tra forme diverse della stessa parola.
Suddivisione e assegnazione degli ID. Il testo normalizzato viene scomposto in token, a ciascuno dei quali viene assegnato un identificatore numerico univoco. L’insieme di tutti gli ID noti costituisce il vocabolario del modello.
I primi approcci mappavano parole intere, ma le architetture moderne adottano algoritmi di sottoparole (subword). Il più diffuso è il Byte Pair Encoding (BPE), che analizza statisticamente il corpus di addestramento per unire le sequenze di caratteri più frequenti, creando un vocabolario di frammenti. In questo modo, una parola rara come “ottimizzazione” viene spezzata in segmenti più frequenti — ad esempio “ottim”, “izzaz”, “ione” — evitando il problema delle parole fuori vocabolario. Altri algoritmi rilevanti sono WordPiece (usato nei modelli BERT di Google, massimizza la probabilità del linguaggio risultante), SentencePiece (sviluppato da Google, non richiede pre-tokenizzazione ed è ideale per lingue senza spazi come il giapponese o il cinese) e Unigram (parte da un vocabolario ampio e lo riduce iterativamente, adatto a testi grezzi e lingue morfologicamente complesse).
Come il modello elabora i token
Una volta tokenizzato l’input, il modello linguistico analizza le relazioni tra i token per rilevare pattern e generare previsioni. Ogni token successivo viene determinato in base al contesto rappresentato dai token precedenti, attraverso il meccanismo di attenzione (attention mechanism) proprio dei Transformer. Un effetto non immediato di questo meccanismo: la stessa parola scritta in maiuscolo, minuscolo o con grafie diverse riceve ID numerici distinti, perché il contesto statistico cambia. Il confine tra un token e il successivo non segue le regole grammaticali, ma la distribuzione statistica del corpus di addestramento.
Quanti token produce il testo in italiano?
Per stimare correttamente i costi e i limiti di contesto di un sistema basato su LLM, è essenziale saper valutare quanti token produce un determinato testo. Le regole pratiche di OpenAI per l’inglese indicano circa 1 token per ogni 4 caratteri, oppure ¾ di parola per token.
Per l’italiano, la situazione è meno favorevole. La lingua italiana presenta desinenze più ricche, forme verbali più numerose e una morfologia più complessa rispetto all’inglese. I test empirici condotti con il tokenizer ufficiale OpenAI mostrano un rapporto di circa 1,4–1,6 token per parola, contro 1,3 per l’inglese. In termini pratici:
- 1 token ≈ 2,7–3,3 caratteri
- 100 token ≈ 60–70 parole
- 1 paragrafo ≈ 120–150 token
- 1.500 parole ≈ 2.200–2.600 token
La conseguenza diretta è che un documento di dieci pagine in italiano può generare un numero di token sensibilmente superiore rispetto alla stessa versione in inglese. Chi progetta prodotti digitali per il mercato italiano deve integrare questa variabile fin dalla fase di architettura del sistema, pena una sottostima sistematica dei costi operativi. Per contare i token con precisione sono disponibili strumenti dedicati: Tiktoken per i modelli OpenAI, il tokenizer interattivo su platform.openai.com, e per i modelli Anthropic l’endpoint /v1/messages/count_tokens, che consente di stimare il costo di una richiesta prima di inviarla.
I tipi di token: input, output, cache e ragionamento
Non tutti i token sono equivalenti. I sistemi moderni distinguono almeno quattro categorie, con implicazioni diverse su costi e architettura.
Token di input. Comprendono il prompt, i documenti allegati, la cronologia della conversazione e le istruzioni di sistema. Sono il testo che il modello riceve in ingresso.
Token di output. Sono i token generati dal modello nella risposta. Costano da tre a cinque volte di più rispetto ai token di input, perché la generazione è sequenziale e computazionalmente più onerosa rispetto alla lettura. Questa asimmetria ha conseguenze dirette nella progettazione: un sistema che genera risposte prolisse ha un costo operativo significativamente più alto rispetto a uno equivalente che produce output concisi.
Token in cache. Sono token riutilizzati da una chiamata all’altra, fatturati a tariffa ridotta. Anthropic e OpenAI consentono di tenere in cache le porzioni fisse di un prompt — istruzioni, esempi, documentazione di prodotto — con sconti che arrivano fino al 90%.
Token di ragionamento. Presenti in alcuni modelli avanzati, sono i passaggi interni di elaborazione che il modello esegue prima di produrre l’output finale. Non sono visibili nella risposta ma vengono elaborati e, in certi casi, fatturati. Aumentano la qualità del ragionamento su compiti complessi a fronte di un maggiore consumo di risorse.
⮑ Guarda gli esempi di Token sul sito di OpenAI
Il costo dei token AI: ordini di grandezza
Comprendere quanto costano i token è indispensabile per valutare la sostenibilità economica di un progetto AI. I prezzi variano per modello, per tipo di token (input vs. output) e cambiano nel tempo; è sempre opportuno verificare le pagine prezzi ufficiali dei provider prima di definire un budget.
A titolo orientativo, le tariffe attuali per alcuni modelli di riferimento si collocano nell’ordine di pochi dollari per milione di token in input e da cinque a quindici dollari per milione di token in output, con i modelli più leggeri sensibilmente più economici dei modelli premium. Un caso pratico aiuta a concretizzare la scala dei costi: un sistema per l’analisi automatica di contratti che elabora documenti da 30.000 token ciascuno e genera riepiloghi da 3.000 token può avere costi unitari molto diversi a seconda del modello scelto. Sommando su volumi aziendali, la differenza tra un modello leggero e uno premium può valere decine di migliaia di euro su base annua.
Strategie per ridurre il consumo di token
Esistono sei leve principali, collaudate e concretamente implementabili, per contenere i costi senza sacrificare la qualità .
Routing tra modelli. Non tutte le richieste richiedono il modello più sofisticato. Classificare e-mail, estrarre campi strutturati da un modulo, rispondere a domande frequenti: sono operazioni che un modello leggero gestisce alla perfezione a un quinto del costo di un modello premium. Costruire un livello logico che assegna ogni richiesta al modello più economico in grado di risolverla è probabilmente la leva più efficace — e tra le meno sfruttate.
Prompt Caching. Se ogni chiamata al modello include le stesse istruzioni iniziali, gli stessi esempi o la stessa documentazione di riferimento, pagarli ogni volta è uno spreco strutturale. Il Prompt Caching permette di mettere in cache quella porzione fissa con sconti fino al 90% rispetto al costo standard.
Batch Processing. Per i compiti che non richiedono risposta in tempo reale, accodare le richieste e ricevere i risultati entro un intervallo di ore (tipicamente ventiquattro) garantisce uno sconto del 50% rispetto alle chiamate sincrone. Un’opzione sottoutilizzata che si presta a elaborazioni notturne, report periodici, analisi di dataset.
Gestione della Context Window. La Context Window è la memoria di lavoro del modello: l’insieme di token — input più output — che il modello può tenere in considerazione in una singola elaborazione. I modelli attuali gestiscono finestre molto ampie (alcuni arrivano a un milione di token), ma ogni token presente nella finestra viene elaborato e fatturato. Strategie efficaci includono il riassunto progressivo della conversazione, l’eliminazione dei messaggi irrilevanti, la suddivisione di documenti lunghi in blocchi e l’istruzione esplicita al modello di rispondere in modo conciso.
Convertire prompt e documenti in formato Markdown. Una tecnica concreta e sottovalutata riguarda il formato con cui si fornisce il contesto al modello. Quando si deve dare in pasto a un LLM un documento di grandi dimensioni — un contratto, un manuale tecnico, una base di conoscenza aziendale — la scelta del formato ha un impatto diretto sul numero di token consumati. I formati nativi come .docx, .pdf o .html portano con sé strati di markup, metadati e strutture di formattazione che il modello deve comunque elaborare token per token, anche quando sono privi di valore semantico ai fini del compito. Convertire preventivamente quei documenti in Markdown puro elimina il rumore strutturale e riduce il volume di token in ingresso in modo misurabile, a parità di contenuto informativo. Lo stesso principio si applica alla scrittura dei prompt: un prompt redatto in Markdown (.md) con una gerarchia esplicita di sezioni — contesto, istruzioni, esempi, vincoli — non solo è più economico in termini di token rispetto a un testo continuo ridondante, ma produce risposte più coerenti perché il modello ne riceve la struttura con minore ambiguità .
Usare un modello AI per scrivere i prompt da dare a un altro modello. Una pratica avanzata, ancora poco documentata nella letteratura di settore italiana, consiste nell’affidare a un modello AI la redazione ottimizzata dei prompt destinati a un secondo modello — quello effettivamente impiegato nel sistema di produzione. La logica è la seguente: un prompt verboso, ridondante o mal strutturato genera più token di input del necessario e, soprattutto, tende a produrre output più lunghi e meno precisi, incrementando ulteriormente il costo lato output. Affidare la fase di prompt engineering a un modello leggero ed economico — specificando la lunghezza target, il formato atteso e i vincoli del compito — permette di ottenere istruzioni già ottimizzate per la finestra di contesto del modello di destinazione. Il risultato è una catena in cui il primo modello svolge il lavoro di “precisione chirurgica” sul linguaggio, e il secondo riceve un input pulito, denso e strutturato, riducendo sprechi su entrambi i fronti. Questa tecnica si sposa naturalmente con l’approccio multi-agente e con i sistemi in cui il prompt non è statico ma viene generato dinamicamente a partire da dati variabili.
Il rischio di lock-in su un singolo provider
Un aspetto strategico spesso trascurato riguarda la concentrazione del rischio verso un unico fornitore di servizi AI. I prezzi dei token sono scesi significativamente negli ultimi anni, ma i provider modificano i listini, ritirano i modelli, introducono varianti più costose. Costruire un prodotto con dipendenza esclusiva da un solo fornitore espone a un rischio di filiera che è opportuno gestire in anticipo. Le architetture più resilienti includono un livello di astrazione che permette di sostituire il modello sottostante in tempi brevi, mantengono la portabilità dei prompt tra provider diversi e tengono monitorate le alternative open source, che superata una certa soglia di volumi possono risultare più convenienti da ospitare internamente.
In sintesi
I token sono l’unità di misura fondamentale dell’intelligenza artificiale generativa. Comprenderne il funzionamento, saper stimare i volumi prodotti da un testo in italiano, distinguere le categorie di costo e applicare le strategie di ottimizzazione non è un approfondimento per specialisti: è una competenza di base per chiunque costruisca o acquisti soluzioni AI in contesto professionale.
La stessa architettura, gestita con consapevolezza o meno, può avere un costo operativo da tre a quattro volte diverso. Non si tratta di ottimizzazioni marginali: sono differenze che cambiano la sostenibilità di un modello di business.
Letture di approfondimento consigliate
- Speech and Language Processing — Daniel Jurafsky, James H. Martin — 3ª ed. 2024 (draft online, edizione cartacea Pearson/Prentice Hall) — Il testo universitario di riferimento per NLP e tokenizzazione, adottato nelle migliori università al mondo. Il capitolo 2 tratta in dettaglio BPE, WordPiece e tokenizzazione subword. Disponibile gratuitamente in bozza all’indirizzo: https://web.stanford.edu/~jurafsky/slp3
- Build a Large Language Model (From Scratch) — Sebastian Raschka — 2024/2025 — Manning Publications — Guida pratica e completa alla costruzione di un LLM dall’interno: tokenizzazione, attention mechanism, pretraining e fine-tuning. Considerato il riferimento tecnico più solido per chi vuole capire come funzionano davvero i modelli. Acquisto: https://www.manning.com/books/build-a-large-language-model-from-scratch
- Hands-On Large Language Models — Jay Alammar, Maarten Grootendorst — 2024 — O’Reilly Media — Approccio visivo e pratico ai modelli linguistici: embedding, token, architetture Transformer e applicazioni reali. Particolarmente apprezzato per la chiarezza delle illustrazioni concettuali. Acquisto: https://www.amazon.com/dp/1098150961
- Prompt Engineering for LLMs: The Art and Science of Building Large Language Model-Based Applications — John Berryman, Albert Ziegler — Novembre 2024 — O’Reilly Media — Il riferimento tecnico più aggiornato per il prompt engineering professionale: include un intero capitolo su come i token condizionano il comportamento del modello e come strutturare input efficienti. Acquisto: https://www.amazon.com/dp/1098156153
- Attention Is All You Need — Ashish Vaswani et al. (Google Brain) — 2017 — NeurIPS Proceedings — Il paper fondativo dell’architettura Transformer, da cui derivano tutti i moderni LLM. Non è un libro, ma è il documento scientifico più citato nel settore (oltre 130.000 citazioni). Lettura obbligatoria per comprendere il meccanismo di attenzione alla base dell’elaborazione dei token. Disponibile gratuitamente: https://arxiv.org/abs/1706.03762
Per avere maggiori informazioni su questo argomento vi invitiamo a contattarci.
Fisseremo un incontro per parlarne e approfondire il tema.
Contattaci via mail scrivendo a info@dev4u.it, non perdere altre opportunità !
Autore/i dell’articolo:
Maurizio Patitucci – BIO – Linkedin – Email
Business Analyst | Project Manager | Account Manager
