Microsoft har introducerat en banbrytande teknik vid namn Layer-Selective Rank Reduction (LASER), som syftar till att förbättra noggrannheten hos stora språkmodeller. Istället för att använda viktmatriser ersätter LASER dem med mindre, approximativa versioner.
I traditionella språkmodeller representerar vikter kontextuella förbindelser som gör det möjligt för modellerna att fatta informerade beslut. Man kan förvänta sig att ersätta dessa vitala vikter med approximationer skulle leda till minskad noggrannhet. Men Dipendra Misra, en senior forskare vid Microsoft Research Lab NYC och AI Frontiers, avslöjade att LASER trotsar dessa förväntningar.
Misras team experimenterade med LASER på tre populära öppen källkod-modeller: RoBERTa, Llama 2 och Eleuthers GPT-J. Förvånansvärt nog resulterade LASER-ingreppen i betydande förbättringar av modellens prestanda, med en ökning av noggrannheten med 20 till 30 procentenheter. Till exempel ökade GPT-J:s noggrannhet i att förutsäga kön baserat på biografier från 70,9 procent till imponerande 97,5 procent efter ett LASER-ingrepp.
Språkmodeller som används i AI-applikationer möter utmaningar relaterade till noggrannhet. Faktamässiga misstag är ett bekymmer eftersom de kan leda till desinformation och skada. Dessutom kan modellen ”hallucinera”, det vill säga generera falsk information, vilket både kan vara underhållande och oroväckande. Det är därför viktigt att tackla dessa inaccuracies och förbättra tillförlitligheten hos språkmodeller.
Microsofts LASER-metod representerar ett nyskapande tillvägagångssätt för att övervinna dessa utmaningar. Genom att utnyttja LASER:s förmåga att förbättra noggrannheten hos stora språkmodeller genom viktsapproximation kan forskare minska risken för faktamässiga fel och förbättra prestandan hos AI-system i stort.
I takt med att AI fortsätter att snabbt utvecklas kommer lösningar som LASER att spela en avgörande roll i att bygga pålitliga och trovärdiga språkmodeller för olika tillämpningar, vilket formar framtiden för AI-teknologi.
Vanliga frågor (FAQ):
The source of the article is from the blog windowsvistamagazine.es