Costi di utilizzo dell’IA: tutto si decide nell’inferenza

Un modello si addestra una volta sola, ma eseguirlo costa a ogni risposta.

Per un piccolo imprenditore, i costi di utilizzo dell’IA sembrano spesso semplici in fattura: un canone mensile o un prezzo in base alla quantità di testo usata. Dietro quel prezzo, però, c’è un’intera catena che si attiva ogni volta che un assistente del servizio clienti risponde a una domanda o uno strumento riassume un’email. Questa esecuzione del modello si chiama inferenza (in inglese inference).

L’episodio dello YC Paper Club Why Inference Matters 12x More Than Training di Y Combinator affronta proprio questo tema. Secondo la descrizione dell’episodio, per ogni operazione di calcolo usata per addestrare un modello ne servono ogni anno circa sei per eseguirlo. La descrizione afferma inoltre che risolvere il problema dell’inferenza ha generato oltre 220 miliardi di dollari di valore di mercato nell’ultimo decennio. I dati sono di YC e non sono stati verificati separatamente in questa sede.

Ogni risposta attraversa molti livelli

Secondo la descrizione, l’inferenza è molto più della semplice chiamata a un modello. Ogni frammento di testo generato, cioè ogni token, deve passare attraverso instradamento, cache, pianificazione, kernel di calcolo, memoria e hardware. Allo stesso tempo bisogna bilanciare velocità, costo e qualità.

Nell’episodio intervengono ricercatori e sviluppatori di Together AI, Ollama, Luminal, SGLang e RadixArk. Al minuto 12:14 del programma, Dan Fu illustra il ciclo di vita di una richiesta di inferenza. Secondo la descrizione, l’episodio mostra come un token viaggia da una richiesta API fino alla GPU e ritorno.

Un imprenditore non deve saper regolare questi livelli. Vale comunque la pena sapere che esistono, perché spiegano come mai due servizi apparentemente uguali possano costare cifre diverse e rispondere con velocità diverse. In passato abbiamo scritto che cosa chiedere sui costi dell’IA prima di credere a un calcolo più economico.

Lo stesso modello non è sempre lo stesso servizio

Secondo la descrizione, l’episodio spiega perché lo stesso modello aperto può comportarsi in modo diverso a seconda di chi lo esegue. Il titolo del segmento a 42:18 riassume il concetto: secondo Jeff Morgan, non tutti i token di un modello aperto sono uguali.

Per me è la lezione più pratica dell’episodio per una piccola impresa. Quando un fornitore dice di usare un noto modello aperto, il nome del modello non dice ancora tutto. Ti suggerirei di confrontare i servizi con esempi tuoi. Sottoponi a due servizi le stesse dieci domande tipiche dei clienti e confronta qualità delle risposte, tempi di risposta e prezzo. Nel nostro precedente articolo sui modelli di IA aperti abbiamo riflettuto su come l’apertura possa dare a un’azienda la libertà di cambiare fornitore. Questa libertà è utile solo se le alternative vengono anche messe alla prova.

Compilatori e cache rendono l’inferenza più efficiente

Secondo la descrizione, l’ultima parte dell’episodio si concentra su nuovi modi per rendere l’inferenza più veloce e decisamente più efficiente. A 1:04:31 Joe Fioti parla della compilazione dei modelli tramite ricerca anziché con regole empiriche predefinite. A 1:30:30 Liangsheng Yin tratta SGLang e la memoria nell’era degli agenti.

Gli agenti sono qui un dettaglio interessante. Quando l’IA gestisce un compito in più fasi, effettua diverse chiamate consecutive e ha di nuovo bisogno di informazioni precedenti. A quel punto la gestione di memoria e cache incide direttamente sul costo. Abbiamo già spiegato perché un agente IA ha bisogno di un ambiente di lavoro funzionante e perché conviene calcolare il costo sul lavoro finito.

Che cosa chiedere a un fornitore di servizi di IA?

L’episodio è tecnico e lungo, ma se ne possono ricavare alcune domande utili per l’acquisto:

• Quanto costa un’attività tipica, per esempio una risposta del servizio clienti, nel nostro utilizzo?
• Quanto velocemente risponde il servizio nelle ore di punta, e come si riflette sul prezzo?
• Quale modello usa il servizio, e chi lo esegue?
• La qualità cambia se il servizio sposta il carico su una soluzione più economica?

I costi di utilizzo dell’IA vanno quindi valutati sull’intero ciclo di vita, non solo sul prezzo di avvio. Il modello viene addestrato una volta, ma la tua azienda paga ogni risposta per tutto il tempo in cui usa il servizio. Misurando prezzo, velocità e qualità del tuo modo di usarlo, avrai una base migliore per decidere rispetto al nome del modello.

▶

Guarda l’episodio originale su YouTube: Y Combinator.

Fonti

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Basato sulla descrizione dell’episodio e sul programma con marcature temporali di YC, non su una trascrizione verificata.