Витрати на використання ШІ виникають під час інференсу

Модель навчають один раз, але її запуск коштує грошей за кожну відповідь.

Витрати на використання ШІ в рахунку малого підприємця часто виглядають простими: щомісячна плата або ціна за обсяг обробленого тексту. Проте за цією ціною стоїть цілий ланцюг, який запускається щоразу, коли асистент служби підтримки відповідає на запитання або інструмент стисло переказує електронний лист. Такий запуск моделі називають інференсом (англійською inference).

Епізод YC Paper Club Why Inference Matters 12x More Than Training від Y Combinator присвячений саме цьому. Згідно з описом епізоду, на кожну обчислювальну операцію, витрачену на навчання моделі, щороку припадає приблизно шість операцій на її запуск. В описі також зазначено, що розв’язання задачі інференсу за останнє десятиліття створило понад 220 мільярдів доларів ринкової вартості. Це власні цифри YC, і тут ми їх окремо не перевіряли.

Кожна відповідь проходить через багато шарів

Згідно з описом, інференс — це набагато більше, ніж виклик моделі. Кожен згенерований фрагмент слова, тобто токен, має пройти через маршрутизацію, кеш, планування, обчислювальні ядра, пам’ять і апаратне забезпечення. Водночас треба шукати баланс між швидкістю, вартістю та якістю.

В епізоді беруть участь дослідники та розробники з Together AI, Ollama і Luminal, а також із SGLang і RadixArk. На позначці 12:14 Dan Fu розбирає життєвий цикл запиту на інференс. Згідно з описом, епізод показує, як токен проходить шлях від API-запиту до графічного процесора і назад.

Підприємцю не потрібно вміти налаштовувати ці шари. Але знати про них варто, бо вони пояснюють, чому два зовні однакові сервіси можуть коштувати по-різному і відповідати з різною швидкістю. Раніше ми писали про те, що варто запитати про витрати на ШІ, перш ніж повірити в дешевші обчислення.

Та сама модель — не завжди той самий сервіс

Згідно з описом, в епізоді пояснюють, чому та сама відкрита модель може працювати по-різному залежно від того, хто її запускає. Назва частини програми на позначці 42:18 підсумовує суть: за словами Jeff Morgan, не всі токени відкритої моделі однакові.

Я вважаю це найпрактичнішим уроком епізоду для малого бізнесу. Коли постачальник каже, що використовує відому відкриту модель, сама назва моделі ще не розповідає всього. Я б радила порівнювати сервіси на власних прикладах. Дайте двом сервісам ті самі десять типових запитань клієнтів і порівняйте якість відповідей, час відповіді та ціну. У попередній статті про відкриті моделі ШІ ми розмірковували, як відкритість може дати компанії свободу змінити постачальника. Ця свобода корисна лише тоді, коли ви справді тестуєте альтернативи.

Компілятори та кеш роблять інференс ефективнішим

Згідно з описом, заключна частина епізоду зосереджена на нових способах зробити інференс швидшим і значно ефективнішим. На позначці 1:04:31 Joe Fioti говорить про компіляцію моделей за допомогою пошуку замість готових емпіричних правил. На позначці 1:30:30 Liangsheng Yin розповідає про SGLang і пам’ять в епоху агентів.

Агенти тут — цікава деталь. Коли ШІ виконує багатокрокове завдання, він робить кілька послідовних викликів і знову потребує попередньої інформації. Тоді керування пам’яттю та кешем безпосередньо впливає на вартість. Раніше ми писали, чому ШІ-агенту потрібне налагоджене робоче середовище і чому вартість варто рахувати за завершену роботу.

Що підприємцю варто запитати в постачальника ШІ-сервісу?

Епізод технічний і довгий, але з нього можна вивести кілька запитань для закупівлі:

• Скільки в нашому використанні коштує одне типове завдання, наприклад одна відповідь служби підтримки?
• Наскільки швидко сервіс відповідає в години пік і як це позначається на ціні?
• Яку модель використовує сервіс і хто її запускає?
• Чи змінюється якість, якщо сервіс перекладає навантаження на дешевше рішення?

Тож витрати на використання ШІ варто оцінювати впродовж усього життєвого циклу, а не лише за ціною впровадження. Модель навчають один раз, але ваша компанія платить за кожну відповідь, доки користується сервісом. Коли ви виміряєте ціну, швидкість і якість для власного способу використання, то отримаєте кращу основу для рішення, ніж назва моделі.

▶

Перегляньте оригінальний епізод на YouTube: Y Combinator.

Джерела

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Джерело — опис епізоду від YC і програма з часовими позначками, а не перевірена розшифровка.