Разходите за използване на ИИ възникват при извода

Моделът се обучава веднъж, но работата му струва пари при всеки отговор.

В сметката на малкия бизнес разходите за използване на ИИ често изглеждат прости: месечна такса или цена за обработения обем текст. Зад цената обаче стои цяла верига, която се задейства всеки път, когато асистентът за обслужване на клиенти отговаря на въпрос или инструмент обобщава имейл. Тази работа на модела се нарича извод (inference).

Епизодът на YC Paper Club Why Inference Matters 12x More Than Training на Y Combinator разглежда точно това. Според описанието на епизода на всяка изчислителна операция, използвана за обучението на модела, всяка година се падат около шест операции за неговата работа. В описанието се посочва също, че решенията за извода са създали над 220 милиарда долара пазарна стойност през последното десетилетие. Числата са на самата YC и не съм ги проверявала отделно тук.

Всеки отговор минава през много слоеве

Според описанието изводът е много повече от извикване на модела. Всяко генерирано парче текст, тоест токен, трябва да премине през маршрутизация, кеш, планиране, изчислителни ядра, памет и хардуер. Едновременно с това трябва да се търси баланс между скорост, разходи и качество.

В епизода участват изследователи и разработчици от Together AI, Ollama, Luminal, както и от SGLang и RadixArk. В момент 12:14 от програмата Dan Fu разглежда жизнения цикъл на една заявка за извод. Според описанието епизодът показва как токенът пътува от API заявката до графичния процесор и обратно.

Предприемачът не е длъжен да може да настройва тези слоеве. Все пак си струва да знае, че ги има, защото те обясняват защо две на пръв поглед еднакви услуги могат да струват различно и да отговарят с различна скорост. По-рано писахме за сметката на ИИ отвъд графичния чип и какво да питате, преди да повярвате на по-евтините изчисления.

Един и същ модел не винаги е една и съща услуга

Според описанието в епизода се изяснява защо един и същ отворен модел може да работи различно в зависимост от това кой го изпълнява. Заглавието на момент 42:18 го обобщава: според Jeff Morgan не всички токени на отворен модел са еднакви.

Смятам това за най-практичния урок от епизода за малкия бизнес. Когато доставчикът казва, че използва известен отворен модел, името на модела още не казва всичко. Предлагам да сравните услугите със собствени примери. Задайте на две услуги едни и същи десет типични въпроса от клиенти и сравнете качеството на отговорите, времето за отговор и цената. В по-ранна статия за отворените модели разсъждавахме как отвореността може да даде на фирмата свобода да смени доставчика. Тази свобода е полезна само ако наистина изпробвате алтернативите.

Компилаторите и кешът правят извода по-ефективен

Според описанието последната част на епизода се фокусира върху нови начини изводът да стане по-бърз и значително по-ефективен. В момент 1:04:31 Joe Fioti говори за компилиране на модели чрез търсене вместо с готови емпирични правила. В момент 1:30:30 Liangsheng Yin разглежда SGLang и паметта в ерата на агентите.

Агентите са интересен детайл тук. Когато ИИ изпълнява многостъпкова задача, той прави няколко последователни извиквания и отново се нуждае от предишна информация. Тогава управлението на паметта и кеша влияе пряко върху разходите. По-рано писахме защо ИИ агентът се нуждае от работеща работна среда и защо разходите си струва да се смятат спрямо свършената работа.

Какво да попита предприемачът доставчика на ИИ услуга?

Епизодът е технически и дълъг, но от него могат да се изведат няколко въпроса за покупката:

• Колко струва една типична задача, например един отговор към клиент, при нашия начин на използване?
• Колко бързо отговаря услугата в пиковите часове и как се отразява това на цената?
• Какъв модел използва услугата и кой го изпълнява?
• Променя ли се качеството, ако услугата прехвърля натоварване към по-евтино решение?

Затова разходите за използване на ИИ си струва да се оценяват за целия жизнен цикъл, а не само по цената на внедряването. Моделът се обучава веднъж, но вашата фирма плаща за всеки отговор, докато използва услугата. Когато измерите цената, скоростта и качеството при собствения си начин на използване, ще имате по-добра основа за решението си от името на модела.

▶

Гледайте оригиналния епизод в YouTube: Y Combinator.

Източници

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Източник: описанието на епизода от YC и програмата с времеви маркери, а не проверен препис.