Καινοτόμες προσεγγίσεις στην επεξεργασία φυσικής γλώσσας συνεχίζονται με τις επιδόσεις σε μεγάλα μοντέλα γλώσσας (LLMs), και η πιο πρόσφατη ανάπτυξη έρχεται με τη μορφή της δομής Kangaroo. Οι ερευνητές αντιμετωπίζουν τις καθυστερημένες ταχύτητες απόδοσης που έχουν περιορίσει το δυναμικό εφαρμογής σε πραγματικό χρόνο των LLMs.
Οι τυπικές προσεγγίσεις για την επιτάχυνση της παραγωγής κειμένου περιλαμβάνουν μεθόδους εικαστικής αποκωδικοποίησης που βασίζονται σε ξεχωριστά πρότυπα πρόχειρων μοντέλων. Ενώ αυτές οι μέθοδοι παραγωγής παράλληλων διπλώματος επιταχύνουν τη διαδικασία κάπως, περιορίζονται από το υψηλό κόστος εκπαίδευσης και προβλήματα καθυστέρησης λόγω της βαριάς υπολογιστικής ζήτησης για τη διατήρηση επιπλέον προσχεδιασμένων μοντέλων.
Αναδυόμενες τεχνικές όπως η Medusa και το Lookahead προσπαθούν να ακολουθήσουν έναν πιο αποτελεσματικό δρόμο προς τα εμπρός μειώνοντας το μέγεθος των προσχεδιασμένων μοντέλων για τη μείωση της καθυστέρησης. Λειτουργούν σε συνεργασία με τα κύρια LLMs αλλά δεν είναι χωρίς μειονεκτήματα, καθώς ακόμη και τα κατεβασμένα μοντέλα επεκτείνουν τους υπολογιστικούς πόρους.
Σε απάντηση, το Huawei Noah’s Ark Lab παρουσιάζει ένα μετασχηματιστικό διαδικαστικό με το Kangaroo. Αυτό το πλαίσιο παρακάμπτει την υψηλή καθυστέρηση στην εικαστική αποκωδικοποίηση με μια νέα μέθοδο αποκωδικοποίησης αυτό-εικαστική αμέσως. Το Kangaroo αναχωρεί από την εξάρτηση από εξωτερικά πρότυπα μοντέλα πρόχειρων και αντί γι’ αυτό χρησιμοποιεί ένα ελαφρύ και σταθερό ακριβώς υποδίκτυο από το LLM για να λειτουργήσει ως προσχεδιασμένο μοντέλο. Ένα υποσυστατικό ενότητας, εκπαιδευμένο να συνδέει αυτό το υποδίκτυο με το πλήρες μοντέλο, διευκολύνει την γρήγορη αλλά ακριβή παραγωγή διακριτικών.
Η αποτελεσματικότητα του Kangaroo ενισχύεται από έναν μηχανισμό εγκαιρης έξοδου που σταματά την πρόβλεψη του μικρού μοντέλου όταν η εμπιστοσύνη σε ένα διακριτικό πέφτει κάτω από μια συγκεκριμένη κατώφλι, μειώνοντας τις περιττές προσπάθειες υπολογισμού. Που αποτελείται από έναν μηχανισμό πολλαπλών κεφαλών προσοχής και δύο επιπέδων κανονικοποίησης, η ενότητα μετασχηματιστή χειρίζεται την ισορροπία μεταξύ αποδοχής διακριτικών και διατήρησης της ταχύτητας προσχεδιασμού.
Η δοκιμή του πλαισίου Kangaroo μέσω εντατικών δεικτών όπως το Spec-Bench έχει δείξει σημαντικά αποτελέσματα. Αξιοσημείωτο είναι ότι είχε παράδοσει ένα 1.7× επιτάχυνση απαιτώντας 88,7% λιγότερες επιπλέον παραμέτρους συγκριτικά με άλλα μοντέλα όπως η Medusa. Η συγχύστηση της αποτελεσματικής σχεδίασης προσαρμογέα δικτύου και ενός διπλού μηχανισμού έξοδου νωρίς υποστηρίζει αυτές τις προόδους.
Το Kangaroo θέτει ένα νέο πρότυπο για τα LLMs σε πραγματικό χρόνο περιβάλλοντα, συνδυάζοντας μειωμένη καθυστέρηση με διατηρημένη ακρίβεια, προετοιμασμένο για να επανασχεδιάσει πώς εφαρμόζουμε μεγάλα μοντέλα γλώσσας σε άμεσες εφαρμογές.
The source of the article is from the blog bitperfect.pe