Progressi innovativi nel processing del linguaggio naturale (NLP) continuano con le scoperte nei modelli di linguaggio large (LLM), e il più recente sviluppo arriva sotto forma del framework Kangaroo. I ricercatori stanno affrontando le lentezze nell’inferring che hanno impedito il potenziale di applicazione in tempo reale dei LLM.
Gli approcci tipici per accelerare la generazione di testo coinvolgono metodi di decodifica speculativi che si basano su modelli provvisori separati. Anche se questi metodi accelerano il processo fino a un certo punto, sono comunque limitati dai costi elevati di addestramento e dai problemi di latenza a causa delle pesanti richieste computazionali nel mantenere modelli di bozza aggiuntivi.
Tecniche emergenti come Medusa e Lookahead cercano di trovare un percorso più efficiente riducendo le dimensioni dei modelli di bozza per diminuire la latenza. Funzionano in concerto con i LLM primari, ma non sono senza svantaggi, poiché anche i modelli ridimensionati sfruttano le risorse computazionali.
Come risposta, il Huawei Noah’s Ark Lab introduce un processo trasformativo con Kangaroo. Questo framework evita le elevate latenze nella decodifica speculativa con un innovativo metodo auto-speculativo senza perdite. Kangaroo si discosta dalla dipendenza da modelli di bozza esterni e invece impiega un sotto-rete leggera e fissa dai LLM per servire come modello di bozza. Un modulo adattatore, addestrato per collegare questa sotto-rete con il modello completo, facilita la produzione rapida e accurata dei token.
L’efficienza di Kangaroo è rafforzata da un meccanismo di uscita anticipata che interrompe la previsione del piccolo modello quando la fiducia in un token scende sotto una certa soglia, minimizzando gli sforzi computazionali non necessari. Composto da un meccanismo di attenzione multi-testa e due strati di normalizzazione, il modulo adattatore gestisce l’equilibrio tra l’accettazione dei token e il mantenimento della velocità di bozza.
Il test del framework Kangaroo attraverso benchmark intensivi come Spec-Bench ha mostrato risultati notevoli. In particolare, ha conseguito un incremento della velocità di 1,7 volte richiedendo il 88,7% in meno di parametri aggiuntivi rispetto ad altri modelli come Medusa. La combinazione del design efficiente della rete adattatrice e di un doppio meccanismo di uscita anticipata sottolinea questi progressi.
Kangaroo stabilisce quindi un nuovo standard per i LLM in ambienti in tempo reale, con una riduzione della latenza associata a un’accuratezza mantenuta, pronto a rivoluzionare il modo in cui implementiamo i grandi modelli di linguaggio nelle applicazioni istantanee.