Otwarte modele AI: jak policzyć realne oszczędności

O opłacalności wdrożenia decyduje koszt poprawnie zakończonej sprawy, obejmujący obliczenia, utrzymanie i pracę ludzi.

Otwarte modele AI kuszą obietnicą niższych rachunków. Wyobraź sobie jednak polski sklep internetowy, w którym tanie narzędzie przygotowuje odpowiedzi na pytania klientów, a pracownik poprawia w nich daty, kwoty i warunki dostawy. Każda odpowiedź kosztuje niewiele, ale zespół nadal siedzi po godzinach. W takim wdrożeniu najważniejszą pozycją w rachunku staje się czas człowieka.

Dla właściciela firmy sensowną miarą oszczędności jest koszt sprawy zakończonej poprawnie. Otwartość modelu może pomóc go obniżyć, ale dopiero sprawny proces zamienia tę możliwość w lepszą marżę.

Tańsze obliczenia mogą zwiększyć zużycie

Jeffrey Morgan, współzałożyciel i prezes Ollamy, w rozmowie z Y Combinator wskazuje koszt jako główny powód zainteresowania otwartymi modelami (02:13). Według niego firmy chcą następnie zyskać większą kontrolę nad zastosowaniem AI. To perspektywa dostawcy narzędzi do uruchamiania modeli, którą warto sprawdzić na własnych wynikach.

Morgan podaje też, że łączne zużycie tokenów w Ollama Cloud wzrosło 150-krotnie od początku roku (04:54). Tokeny to niewielkie fragmenty tekstu przetwarzane przez model. Ta liczba opisuje ruch w konkretnej usłudze; nie mówi, ile zaoszczędzili jej klienci.

Agent AI, czyli program wykonujący kolejne kroki zadania za pomocą modelu i dostępnych narzędzi, może wielokrotnie analizować tę samą sprawę. Warto więc oddzielić spadek ceny jednostkowej od wzrostu liczby wywołań. Więcej przetworzonego tekstu staje się korzyścią dopiero wtedy, gdy prowadzi do większej liczby poprawnie załatwionych spraw.

Otwartość daje wybór, obsługa kosztuje

Zanim porównasz ceny, ustal, co dostawca rozumie przez otwartość. Czy udostępnia wagi modelu, czyli parametry wyuczone podczas treningu? Gdzie można go uruchomić i jakie warunki korzystania określa licencja? To pytania potrzebne do uczciwego porównania ofert.

Otwarte modele AI mogą dawać wybór miejsca uruchomienia, ale własny serwer wymaga opieki. Do rachunku wpisz konfigurację, aktualizacje, monitorowanie działania i czas osoby, która zareaguje na awarię. Przy małej liczbie zadań te pozycje mogą przeważyć nad oszczędnością na obliczeniach.

Dlatego koszt obliczeń i wdrożenia AI warto rozpatrywać łącznie. Dla niewielkiego zespołu płatna usługa zarządzana przez dostawcę może być rozsądniejsza niż utrzymywanie sprzętu we własnym biurze. Decyzję powinno uzasadniać porównanie pełnych kosztów przy spodziewanym obciążeniu.

Policz sprawę od zgłoszenia do rozwiązania

W przykładowym sklepie system ma przygotować odpowiedź zgodną ze stanem zamówienia. Pracownik powinien móc ją zweryfikować i wysłać klientowi bez odtwarzania całej sprawy od początku. Jeśli musi samodzielnie ustalać wszystkie dane, oszczędność pozostaje wątpliwa.

Przyjmij prosty rachunek: pełny koszt obsługi procesu podzielony przez liczbę poprawnie zakończonych spraw. Uwzględnij także wydatki na nieudane próby, ponowienia i pracę kontrolną. W kosztach obliczeń rozlicz wszystkie wywołania, a czas zespołu wyceń według rzeczywistego kosztu jego pracy.

Oddziel przy tym wydatki jednorazowe od stałych. Przygotowanie integracji rozłóż na realistyczną liczbę przyszłych zadań, a utrzymanie policz dla tego samego okresu co zużycie modelu. Inaczej wariant wymagający więcej pracy na starcie może wyglądać sztucznie tanio.

Tak rozumiany koszt wykonanej pracy agenta AI pozwala porównać rozwiązania przy tej samej wymaganej jakości. Zapisz również czas obsługi oraz rodzaj błędów: pomylona forma grzecznościowa i obietnica niedostępnej dostawy wymagają innej reakcji. Dzięki temu niższa średnia cena nie przesłoni pogorszenia obsługi.

W polskojęzycznej obsłudze klienta sprawdź także wiadomości pisane skrótami, z literówkami i branżowym słownictwem. Klient może podać kwotę z przecinkiem albo odwołać się do wcześniejszych ustaleń bez numeru zamówienia. Taki materiał lepiej odpowiada codziennej pracy niż zestaw starannie sformułowanych pytań demonstracyjnych.

Punktem odniesienia niech będzie obecny sposób pracy firmy. Zmierz go na podobnych zgłoszeniach i według tych samych zasad. Bez tego łatwo porównać starannie wybrany pokaz nowego narzędzia z najtrudniejszym dniem dotychczasowego zespołu.

Dobierz model do trudności sprawy

W przykładowym sklepie pytanie o status przesyłki i spór o sprzeczne ustalenia wymagają innego nakładu pracy. Można więc testować prostszy model na powtarzalnych zgłoszeniach, a wyjątki kierować do bardziej zaawansowanego modelu lub człowieka. Taki podział musi mieć jasne reguły, inaczej oszczędności pochłonie poprawianie błędnych przekazań.

Podobny kierunek przewiduje Morgan, mówiąc o współistnieniu modeli otwartych i zamkniętych (17:28). Zakłada, że otwarte modele przejmą dużą część zużycia tokenów, a najbardziej wymagające zadania nadal uzasadnią wykorzystanie rozwiązań zamkniętych. To prognoza, nie gotowy podział obowiązków dla każdej firmy.

Przekazanie sprawy dalej oprzyj na sprawdzalnych sygnałach: brakujących danych, sprzecznych informacjach lub odstępstwie od ustalonej procedury. Płynna odpowiedź modelu nie wystarcza, by uznać zadanie za wykonane. Osoba przejmująca zgłoszenie powinna widzieć, czego brakuje i co już sprawdzono.

Co z tego wynika dla Twojej firmy?

Najrozsądniejszy pierwszy krok to wybór konkretnego problemu przed automatyzacją. Wybierz powtarzalną czynność, której wynik potrafisz ocenić: przypisanie zgłoszenia do właściwego działu albo przygotowanie odpowiedzi na podstawie zamówienia. Ustal z góry, co oznacza poprawne wykonanie i kiedy sprawę przejmuje człowiek.

• Porównaj modele na tym samym zestawie rzeczywistych zgłoszeń, uwzględniając nietypowe przypadki.
• Zapisuj koszt całego procesu, czas kontroli i odsetek spraw wymagających poprawek.
• Zwiększaj skalę dopiero wtedy, gdy spada koszt poprawnie zakończonej sprawy przy utrzymaniu wymaganej jakości.

Tańsze modele dają małej firmie większe pole do eksperymentowania. Najcenniejszym wynikiem próby będzie jednak wiedza, którą część pracy można im powierzyć i ile kosztuje doprowadzenie jej do końca. Z takim pomiarem łatwiej zdecydować, czy rozwijać wdrożenie, poprawić proces, czy wybrać inne narzędzie.

Rozmowa Y Combinator z Jeffreyem Morganem, współzałożycielem i prezesem Ollamy. Publikacja: 4 września 2026 r.

Dla właściciela firmy sensowną miarą oszczędności jest koszt sprawy zakończonej poprawnie.

Płynna odpowiedź modelu nie wystarcza, by uznać zadanie za wykonane.

▶

Obejrzyj oryginalny odcinek w serwisie YouTube: Y Combinator.

Źródła

• Y Combinator — otwarte modele AI i koszty ich wykorzystania — Rozmowa z Jeffreyem Morganem, współzałożycielem i prezesem Ollamy. 02:13 — koszt i kontrola jako motywacje firm; 04:54 — deklarowany 150-krotny wzrost łącznego zużycia tokenów w Ollama Cloud od początku roku; 17:28 — prognoza współistnienia modeli otwartych i zamkniętych.
• Transkrypcja rozmowy Y Combinator z Jeffreyem Morganem — Zapis napisów źródłowego nagrania, wykorzystany do sprawdzenia wypowiedzi i oznaczeń czasu.