Η πραγματική εξοικονόμηση φαίνεται στις εργασίες που ολοκληρώνονται σωστά, μαζί με τον χρόνο ελέγχου, τις διορθώσεις και τη συντήρηση.
Ανοιχτά μοντέλα: μια μικρή επιχείρηση μπορεί να πληρώνει λιγότερο για κάθε απάντηση της τεχνητής νοημοσύνης και παρ’ όλα αυτά να βλέπει τον συνολικό λογαριασμό να μεγαλώνει. Αρκεί το σύστημα να επαναλαμβάνει άσκοπα την ίδια εργασία ή να παραδίδει κείμενα που χρειάζονται συνεχώς διόρθωση. Για τον επιχειρηματία, η ουσιαστική μέτρηση αρχίζει όταν μια δουλειά ολοκληρώνεται σωστά.
Εκεί βρίσκεται η ενδιαφέρουσα ευκαιρία για μια ελληνική νεοφυή επιχείρηση ή μια μικρή ομάδα εξυπηρέτησης πελατών. Η πρόσβαση σε περισσότερα μοντέλα επιτρέπει δοκιμές και επιλογές, αρκεί να υπάρχει τρόπος σύγκρισης. Το ερώτημα είναι πόσο κοστίζει τελικά να εξυπηρετηθεί ο πελάτης, μαζί με τον χρόνο των ανθρώπων που επιβλέπουν το αποτέλεσμα.
Το κόστος μετριέται στην ολοκληρωμένη εργασία
Ο Τζέφρι Μόργκαν, συνιδρυτής και διευθύνων σύμβουλος της Ollama, αναφέρει στη συζήτησή του με τη Y Combinator για την αύξηση της χρήσης, από το 03:31, ότι η συνολική κατανάλωση μονάδων κειμένου στο Ollama Cloud έφτασε στο 150πλάσιο του επιπέδου των αρχών του έτους. Πρόκειται για στοιχείο που δίνει ο ίδιος για την υπηρεσία του. Από μόνο του δεν μετρά την παραγωγικότητα των επιχειρήσεων που τη χρησιμοποιούν.
Οι μονάδες αυτές είναι τα μικρά τμήματα στα οποία χωρίζεται το κείμενο που επεξεργάζεται ένα μοντέλο. Ένας ψηφιακός βοηθός που αναζητά πληροφορίες, δοκιμάζει λύσεις και επανέρχεται με διορθώσεις μπορεί να καταναλώνει πολλές τέτοιες μονάδες για ένα μόνο αίτημα. Άρα, μια χαμηλότερη τιμή μονάδας χρειάζεται να εξετάζεται μαζί με την ποσότητα εργασίας που παράγει χρήσιμο αποτέλεσμα.
Φανταστείτε μια μικρή εταιρεία στην Αθήνα που αναπτύσσει λογισμικό κρατήσεων για καταλύματα. Θέλει να ταξινομεί τα εισερχόμενα μηνύματα και να ετοιμάζει απαντήσεις για έλεγχο από την ομάδα της. Αν ο υπάλληλος χρειάζεται να ξαναδιαβάζει όλο το ιστορικό και να διορθώνει τους όρους ακύρωσης, η φθηνή παραγωγή κειμένου μπορεί να αφήνει ελάχιστο πραγματικό όφελος.
Η σωστή απάντηση έχει κόστος υπολογισμού, ελέγχου και διόρθωσης. Στον ίδιο λογαριασμό μπαίνουν η συντήρηση και οι επαναλήψεις που απέτυχαν. Ένας χρήσιμος υπολογισμός του κόστους της τεχνητής νοημοσύνης συνδέει όλα αυτά με τα αιτήματα που έκλεισαν επιτυχώς, ώστε η διοίκηση να βλέπει τι αγοράζει με κάθε ευρώ.
Η ποιότητα στα ελληνικά χρειάζεται δική της δοκιμή
Για την ίδια εταιρεία, μια εντυπωσιακή επίδειξη στα αγγλικά αφήνει ανοιχτό το βασικό ερώτημα: πώς λειτουργεί το σύστημα στα μηνύματα των δικών της πελατών; Η δοκιμή αξίζει να περιλαμβάνει ελληνικά χωρίς τόνους, συντομογραφίες, ορθογραφικά λάθη και ερωτήσεις που συνδυάζουν περισσότερα θέματα. Αυτή είναι η γλώσσα που μπορεί να συναντήσει στην καθημερινή χρήση.
Η αξιολόγηση χρειάζεται συγκεκριμένα κριτήρια. Αναγνωρίζει το σύστημα ποια κράτηση αφορά το μήνυμα; Ξεχωρίζει μια ερώτηση για αλλαγή ημερομηνίας από αίτημα ακύρωσης και ζητά διευκρίνιση όταν λείπουν στοιχεία; Μια απάντηση με άψογη σύνταξη παραμένει προβληματική αν υπόσχεται επιστροφή χρημάτων που η επιχείρηση δεν έχει εγκρίνει.
Γι’ αυτό έχει αξία η σύνδεση της τεχνητής νοημοσύνης με τη γνώση για τον πελάτη: το σύστημα χρειάζεται τις σωστές πληροφορίες για τη συγκεκριμένη περίπτωση. Στη δοκιμή, δώστε στα υποψήφια μοντέλα τις ίδιες πληροφορίες και κρατήστε σταθερά τα κριτήρια αξιολόγησης. Έτσι θα ξεχωρίσετε αν μια αστοχία προέρχεται από το μοντέλο, από ελλιπή δεδομένα ή από ασαφείς οδηγίες.
Η τοπική λειτουργία αλλάζει τον λογαριασμό
Με τον όρο ανοιχτά μοντέλα εννοούμε εδώ κυρίως μοντέλα που διαθέτουν τις εκπαιδευμένες παραμέτρους τους, τις αριθμητικές τιμές που καθορίζουν τη λειτουργία τους. Αυτό επιτρέπει την εκτέλεσή τους σε υποδομή της επιλογής σας, μέσα στα όρια της άδειάς τους. Η δυνατότητα λήψης ενός μοντέλου, πάντως, χρειάζεται να διακρίνεται από την πλήρη ελευθερία εμπορικής χρήσης και τροποποίησης.
Ο Μόργκαν περιγράφει έναν συνδυασμό τοπικής λειτουργίας και απομακρυσμένων υπηρεσιών, στην ενότητα από το 20:41: απλούστερες εργασίες μπορούν να εκτελούνται τοπικά, ενώ απαιτητικότερες να ανατίθενται αλλού. Για μια μικρή ομάδα, αυτό ανοίγει μια επιλογή που πρέπει να κοστολογηθεί. Στον εξοπλισμό προστίθενται η ηλεκτρική ενέργεια, οι αναβαθμίσεις και ο χρόνος τεχνικής υποστήριξης.
Η τεχνική τεκμηρίωση της Ollama διευκρινίζει επίσης ότι ταυτόχρονα αιτήματα μπορεί να περιμένουν όταν η διαθέσιμη μνήμη δεν επαρκεί. Για την επιχείρηση κρατήσεων, λοιπόν, η δοκιμή χρειάζεται να περιλαμβάνει ώρες αυξημένου φόρτου. Ένα σύστημα που λειτουργεί ικανοποιητικά στον υπολογιστή ενός προγραμματιστή πρέπει να αποδείξει ότι αντέχει και τον ρυθμό της ομάδας.
Η δυνατότητα αλλαγής προμηθευτή έχει αξία
Η ελευθερία επιλογής γίνεται χρήσιμη όταν μπορείτε πράγματι να μεταφέρετε μια εργασία σε άλλο μοντέλο. Κρατήστε οργανωμένες τις οδηγίες, τα παραδείγματα ελέγχου και τις πληροφορίες που χρειάζεται η εφαρμογή. Αν είναι διάσπαρτα σε προσωπικούς λογαριασμούς και πρόχειρες συνομιλίες, κάθε αλλαγή θα απαιτεί να ξαναστηθεί μέρος της δουλειάς.
Χρειάζεται επίσης σαφής κατανομή ευθύνης: ποιος εγκρίνει μια νέα έκδοση, ποιος παρακολουθεί τις αστοχίες και ποιος αναλαμβάνει όταν το σύστημα σταματήσει; Αυτοί οι κανόνες χρήσης της τεχνητής νοημοσύνης στην εργασία βοηθούν να υπολογιστεί ο πραγματικός φόρτος υποστήριξης. Η δυνατότητα αλλαγής προμηθευτή έχει αξία όταν έχει δοκιμαστεί στην πράξη.
Τι αξίζει να κάνετε στην επόμενη δοκιμή
Ξεκινήστε από μια επαναλαμβανόμενη εργασία με σαφές αποτέλεσμα, όπως η ταξινόμηση αιτημάτων και η προετοιμασία απάντησης για ανθρώπινο έλεγχο. Καταγράψτε πρώτα πόσο χρόνο απαιτεί σήμερα και πού εμφανίζονται λάθη. Αυτή θα είναι η βάση για να κρίνετε αν η αλλαγή βελτιώνει την καθημερινότητα της ομάδας.
- Χρησιμοποιήστε αντιπροσωπευτικά ελληνικά παραδείγματα, αφαιρώντας περιττά προσωπικά στοιχεία.
- Συγκρίνετε τις λύσεις με τις ίδιες οδηγίες και τα ίδια κριτήρια επιτυχίας.
- Μετρήστε μαζί χρεώσεις, χρόνο ελέγχου, διορθώσεις και συντήρηση.
- Ορίστε πότε το αίτημα περνά σε άνθρωπο και πότε διακόπτεται μια ανεπιτυχής προσπάθεια.
Ανοιχτά μοντέλα με καλή επίδοση στις δικές σας εργασίες μπορούν να δημιουργήσουν χώρο για περισσότερες χρήσιμες εφαρμογές. Για να το διαπιστώσετε, κοιτάξτε πόσες υποθέσεις έκλεισαν σωστά και πόσο κόστισαν συνολικά. Η εξοικονόμηση αποκτά αξία όταν επιστρέφει στην ομάδα χρόνο που μπορεί πραγματικά να αξιοποιήσει.
Βίντεο: συζήτηση της Y Combinator με τον Τζέφρι Μόργκαν της Ollama για τα ανοιχτά μοντέλα και το κόστος της τεχνητής νοημοσύνης.
Η σωστή απάντηση έχει κόστος υπολογισμού, ελέγχου και διόρθωσης.
Η δυνατότητα αλλαγής προμηθευτή έχει αξία όταν έχει δοκιμαστεί στην πράξη.

Πηγές
- Y Combinator: τα ανοιχτά μοντέλα αλλάζουν τα οικονομικά της τεχνητής νοημοσύνης — Συζήτηση με τον Τζέφρι Μόργκαν της Ollama. Σχετικές ενότητες: αύξηση κατανάλωσης από το 03:31 και τοπική λειτουργία σε συνδυασμό με απομακρυσμένες υπηρεσίες από το 20:41. Το στοιχείο για τον 150πλασιασμό αφορά το Ollama Cloud και αποδίδεται στον ίδιο.
- Απομαγνητοφώνηση της συζήτησης της Y Combinator με τον Τζέφρι Μόργκαν — Χρησιμοποιήθηκε για τον έλεγχο των σχετικών δηλώσεων. Η αναφορά στον 150πλασιασμό εμφανίζεται περίπου στο 04:58 και η περιγραφή της συνδυασμένης λειτουργίας από το 20:57.
- Ollama: τεχνική τεκμηρίωση για μνήμη και ταυτόχρονα αιτήματα — Η επίσημη τεκμηρίωση εξηγεί τις απαιτήσεις μνήμης και την αναμονή αιτημάτων όταν οι διαθέσιμοι πόροι δεν επαρκούν.
Innohub TV
Δες αυτό το περιεχόμενο και στο Innohub TV
Διαλέξαμε για σένα κλιπ από το Innohub TV που συνεχίζουν το ίδιο θέμα.
Επιχειρηματικότητα και τουρισμός στη μεταπανδημική εποχή – ομιλίαMarketing Consultant
Δεν υπάρχουν επεισόδια.