Το κόστος χρήσης τεχνητής νοημοσύνης γεννιέται στον συμπερασμό

Το μοντέλο εκπαιδεύεται μία φορά, αλλά η εκτέλεσή του κοστίζει σε κάθε απάντηση.

Στον λογαριασμό μιας μικρής επιχείρησης, το κόστος χρήσης τεχνητής νοημοσύνης μοιάζει συχνά απλό: μια μηνιαία συνδρομή ή μια τιμή ανά όγκο κειμένου. Πίσω από την τιμή υπάρχει όμως μια ολόκληρη αλυσίδα, που ενεργοποιείται κάθε φορά που ο βοηθός εξυπηρέτησης πελατών απαντά σε μια ερώτηση ή ένα εργαλείο συνοψίζει ένα email. Αυτή η εκτέλεση του μοντέλου ονομάζεται συμπερασμός (inference).

Το επεισόδιο YC Paper Club Why Inference Matters 12x More Than Training του Y Combinator ασχολείται ακριβώς με αυτό. Σύμφωνα με την περιγραφή του επεισοδίου, για κάθε υπολογιστική πράξη που χρησιμοποιήθηκε στην εκπαίδευση ενός μοντέλου, η εκτέλεσή του καταναλώνει περίπου έξι κάθε χρόνο. Η περιγραφή αναφέρει επίσης ότι η επίλυση του συμπερασμού έχει δημιουργήσει πάνω από 220 δισεκατομμύρια δολάρια σε αγοραία αξία την τελευταία δεκαετία. Τα νούμερα είναι της ίδιας της YC και δεν τα έχω επαληθεύσει εδώ χωριστά.

Κάθε απάντηση περνά από πολλά επίπεδα

Σύμφωνα με την περιγραφή, ο συμπερασμός είναι πολύ περισσότερα από μια απλή κλήση του μοντέλου. Κάθε κομμάτι κειμένου που παράγεται, δηλαδή κάθε token, πρέπει να περάσει από δρομολόγηση, κρυφή μνήμη, χρονοπρογραμματισμό, υπολογιστικούς πυρήνες, μνήμη και υλικό. Ταυτόχρονα πρέπει να βρεθεί ισορροπία ανάμεσα σε ταχύτητα, κόστος και ποιότητα.

Στο επεισόδιο συμμετέχουν ερευνητές και δημιουργοί από τις Together AI, Ollama, Luminal, καθώς και από τα SGLang και RadixArk. Στο σημείο 12:14 του προγράμματος, ο Dan Fu εξηγεί τον κύκλο ζωής ενός αιτήματος συμπερασμού. Σύμφωνα με την περιγραφή, το επεισόδιο δείχνει πώς ένα token ταξιδεύει από το αίτημα API ως την κάρτα γραφικών και πίσω.

Ο επιχειρηματίας δεν χρειάζεται να ξέρει πώς ρυθμίζονται αυτά τα επίπεδα. Αξίζει όμως να ξέρει ότι υπάρχουν, γιατί εξηγούν γιατί δύο υπηρεσίες που εξωτερικά μοιάζουν ίδιες μπορεί να κοστίζουν διαφορετικά και να απαντούν με διαφορετική ταχύτητα. Έχουμε γράψει παλαιότερα για την τεχνητή νοημοσύνη πέρα από τις GPU και τι αξίζει να μετράς πριν πιστέψεις σε φθηνότερους υπολογισμούς.

Το ίδιο μοντέλο δεν είναι πάντα η ίδια υπηρεσία

Σύμφωνα με την περιγραφή, το επεισόδιο εξετάζει γιατί το ίδιο ανοιχτό μοντέλο μπορεί να λειτουργεί διαφορετικά ανάλογα με το ποιος το εκτελεί. Ο τίτλος του σημείου 42:18 το συνοψίζει: σύμφωνα με τον Jeff Morgan, δεν είναι όλα τα tokens ενός ανοιχτού μοντέλου ίδια.

Το θεωρώ το πιο πρακτικό δίδαγμα του επεισοδίου για μια μικρή επιχείρηση. Όταν ένας πάροχος λέει ότι χρησιμοποιεί ένα γνωστό ανοιχτό μοντέλο, το όνομα του μοντέλου δεν τα λέει όλα. Θα πρότεινα να συγκρίνεις τις υπηρεσίες με δικά σου παραδείγματα. Δώσε σε δύο υπηρεσίες τις ίδιες δέκα τυπικές ερωτήσεις πελατών και σύγκρινε την ποιότητα των απαντήσεων, τον χρόνο απόκρισης και την τιμή. Σε προηγούμενο άρθρο μας για τα ανοιχτά μοντέλα εξετάσαμε πώς η ανοιχτότητα μπορεί να δώσει σε μια επιχείρηση την ελευθερία να αλλάξει προμηθευτή. Η ελευθερία αυτή είναι χρήσιμη μόνο αν δοκιμάζεις πράγματι τις εναλλακτικές.

Οι μεταγλωττιστές και η κρυφή μνήμη κάνουν τον συμπερασμό πιο αποδοτικό

Σύμφωνα με την περιγραφή, το τελευταίο μέρος του επεισοδίου εστιάζει σε νέους τρόπους για να γίνει ο συμπερασμός ταχύτερος και σαφώς πιο αποδοτικός. Στο σημείο 1:04:31 ο Joe Fioti μιλά για τη μεταγλώττιση μοντέλων με τη βοήθεια αναζήτησης αντί για έτοιμους εμπειρικούς κανόνες. Στο σημείο 1:30:30 ο Liangsheng Yin αναλύει το SGLang και τη μνήμη στην εποχή των πρακτόρων.

Οι πράκτορες είναι εδώ μια ενδιαφέρουσα λεπτομέρεια. Όταν η τεχνητή νοημοσύνη χειρίζεται μια εργασία πολλών βημάτων, κάνει πολλές διαδοχικές κλήσεις και χρειάζεται ξανά προηγούμενες πληροφορίες. Τότε η διαχείριση της μνήμης και της κρυφής μνήμης επηρεάζει άμεσα το κόστος. Έχουμε γράψει παλαιότερα γιατί ένας πράκτορας τεχνητής νοημοσύνης χρειάζεται λειτουργικό περιβάλλον εργασίας και γιατί το κόστος αξίζει να υπολογίζεται με βάση την ολοκληρωμένη δουλειά.

Τι αξίζει να ρωτήσει ο επιχειρηματίας τον πάροχο μιας υπηρεσίας τεχνητής νοημοσύνης;

Το επεισόδιο είναι τεχνικό και μεγάλο, αλλά από αυτό προκύπτουν μερικές ερωτήσεις για μια αγορά:

• Πόσο κοστίζει μία τυπική εργασία, για παράδειγμα μία απάντηση εξυπηρέτησης πελατών, με τον δικό μας τρόπο χρήσης;
• Πόσο γρήγορα απαντά η υπηρεσία σε ώρες αιχμής και πώς φαίνεται αυτό στην τιμή;
• Ποιο μοντέλο χρησιμοποιεί η υπηρεσία και ποιος το εκτελεί;
• Αλλάζει η ποιότητα αν η υπηρεσία μεταφέρει φόρτο σε φθηνότερη λύση;

Το κόστος χρήσης τεχνητής νοημοσύνης αξίζει λοιπόν να εκτιμάται σε όλο τον κύκλο ζωής και όχι μόνο με βάση την τιμή εγκατάστασης. Το μοντέλο εκπαιδεύεται μία φορά, αλλά η επιχείρησή σου πληρώνει για κάθε απάντηση όσο χρησιμοποιείται η υπηρεσία. Όταν μετράς την τιμή, την ταχύτητα και την ποιότητα για τη δική σου χρήση, έχεις καλύτερη βάση για την απόφασή σου από το όνομα του μοντέλου.

▶

Δες το αρχικό επεισόδιο στο YouTube: Y Combinator.

Πηγές

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Πηγή: η περιγραφή του επεισοδίου από την YC και το πρόγραμμα με χρονοσημάνσεις, όχι επαληθευμένη απομαγνητοφώνηση.