Custos de utilização da IA nascem na inferência

Um modelo é treinado uma vez, mas executá-lo custa dinheiro a cada resposta.

Na fatura de um pequeno empresário, os custos de utilização da IA parecem muitas vezes simples: uma mensalidade ou um preço por quantidade de texto processado. Por trás desse preço está, no entanto, toda uma cadeia que se põe em marcha sempre que o assistente de apoio ao cliente responde a uma pergunta ou uma ferramenta resume um e-mail. A esta execução do modelo chama-se inferência (em inglês, inference).

O episódio do YC Paper Club Why Inference Matters 12x More Than Training, da Y Combinator, trata precisamente disto. Segundo a descrição do episódio, por cada operação de cálculo usada para treinar um modelo, gastam-se por ano cerca de seis para o executar. A descrição refere também que resolver a inferência gerou, na última década, mais de 220 mil milhões de dólares em valor de mercado. Os números são da própria YC e não foram verificados aqui de forma independente.

Cada resposta atravessa muitas camadas

Segundo a descrição, a inferência é muito mais do que chamar um modelo. Cada fragmento de palavra produzido, ou seja, cada token, tem de passar pelo encaminhamento, pela cache, pelo escalonamento, pelos kernels de cálculo, pela memória e pelo hardware. Ao mesmo tempo, é preciso equilibrar rapidez, custo e qualidade.

Participam no episódio investigadores e construtores da Together AI, da Ollama e da Luminal, bem como do SGLang e da RadixArk. No ponto 12:14 do programa, Dan Fu percorre o ciclo de vida de um pedido de inferência. Segundo a descrição, o episódio mostra como um token viaja desde o pedido à API até à placa gráfica e de volta.

O empresário não precisa de saber afinar estas camadas. Ainda assim, vale a pena saber que existem, porque explicam por que razão dois serviços aparentemente iguais podem ter preços diferentes e responder a velocidades diferentes. Já escrevemos sobre o que perguntar sobre os custos da IA antes de acreditar em computação mais barata.

O mesmo modelo nem sempre é o mesmo serviço

Segundo a descrição, o episódio explica porque é que o mesmo modelo aberto pode funcionar de forma diferente consoante quem o executa. O título do ponto 42:18 do programa resume a ideia: segundo Jeff Morgan, nem todos os tokens de um modelo aberto são iguais.

Considero esta a lição mais prática do episódio para uma pequena empresa. Quando um fornecedor diz que usa um modelo aberto conhecido, o nome do modelo ainda não diz tudo. Sugiro que compare os serviços com os seus próprios exemplos. Dê a dois serviços as mesmas dez perguntas típicas de clientes e compare a qualidade das respostas, o tempo de resposta e o preço. No nosso artigo anterior sobre modelos de IA abertos, analisámos como a abertura pode dar a uma empresa liberdade para mudar de fornecedor. Essa liberdade só é útil se também testar as alternativas.

Compiladores e cache tornam a inferência mais eficiente

Segundo a descrição, a parte final do episódio centra-se em novas formas de tornar a inferência mais rápida e bastante mais eficiente. No ponto 1:04:31, Joe Fioti fala de compilar modelos com recurso a pesquisa, em vez de regras práticas predefinidas. No ponto 1:30:30, Liangsheng Yin aborda o SGLang e a memória na era dos agentes.

Os agentes são aqui um pormenor interessante. Quando a IA executa uma tarefa com vários passos, faz várias chamadas seguidas e volta a precisar de informação anterior. Nessa altura, a gestão da memória e da cache afeta diretamente o custo. Escrevemos antes sobre porque é que um agente de IA precisa de um ambiente de trabalho funcional e porque é que o custo deve ser calculado pelo trabalho concluído.

O que deve um empresário perguntar ao fornecedor de um serviço de IA?

O episódio é técnico e longo, mas dele resultam algumas perguntas úteis para a compra:

• Quanto custa, na nossa utilização, uma tarefa típica, por exemplo uma resposta de apoio ao cliente?
• Com que rapidez responde o serviço nas horas de ponta, e como é que isso se reflete no preço?
• Que modelo usa o serviço, e quem o executa?
• A qualidade muda se o serviço passar a carga para uma solução mais barata?

Por isso, vale a pena avaliar os custos de utilização da IA ao longo de todo o ciclo de vida, e não apenas pelo preço de implementação. O modelo é treinado uma vez, mas a sua empresa paga cada resposta enquanto usar o serviço. Ao medir o preço, a rapidez e a qualidade da sua própria forma de utilização, obtém uma base melhor para a decisão do que o nome do modelo.

▶

Veja o episódio original no YouTube: Y Combinator.

Fontes

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Fonte: descrição do episódio pela YC e programa com marcas temporais, não uma transcrição verificada.