Apple osiągnęło znaczący przełom w wykorzystywaniu dużych modeli językowych (LLM) na urządzeniach o ograniczonej pamięci, takich jak iPhone’y. Dzięki wykorzystaniu innowacyjnej techniki wykorzystania pamięci flash, badacze ds. sztucznej inteligencji Apple opracowali metodologię, która umożliwia wydajne tworzenie czatbotów opartych na LLM oraz innych modelach sztucznej inteligencji w warunkach ograniczonej pamięci.
Tradycyjnie aplikacje oparte na LLM stanowiły wyzwanie dla urządzeń o ograniczonej pamięci, takich jak iPhone’y, głównie ze względu na duże wymagania dotyczące danych i pamięci. Jednak nowatorskie podejście Apple wykorzystuje obfite zasoby pamięci flash dostępne na tych urządzeniach do przechowywania danych modelu AI.
W swojej pracy badacze Apple zatytułowanej „LLM w migawce: Wydajne wnioskowanie na podstawie dużego modelu językowego z ograniczoną pamięcią” wyjaśniają dwie kluczowe techniki, które są stosowane w celu maksymalizacji przepustowości pamięci flash i minimalizacji transferu danych:
- Metoda podziału na okna: Ta technika polega na ponownym wykorzystywaniu przetworzonych danych zamiast ciągłego wczytywania nowych danych. Eliminuje to konieczność nieustannego pobierania pamięci i upraszcza proces, co prowadzi do zwiększenia prędkości i płynności działania.
- Zgrupowanie wierszy-kolumn: Podobnie jak czytanie książki w większych fragmentach, ta technika efektywnie grupuje dane, co umożliwia szybkie odzyskiwanie ich z pamięci flash. W rezultacie zdolność AI do rozumienia i generowania języka znacznie się poprawia.
Zgodnie z artykułem, te zastosowane techniki umożliwiają uruchamianie modeli AI o dwukrotnie większym rozmiarze niż dostępna pamięć na iPhone’ach. Oznacza to zauważalne zwiększenie prędkości o 4-5 razy na standardowych procesorach (CPU) oraz imponującą poprawę o 20-25 razy na procesorach graficznych (GPU).
Konsekwencje tej rewolucji są ogromne, ponieważ otwierają drogę do zaawansowanych funkcji Siri, tłumaczenia języka na żywo i zaawansowanych funkcji AI w fotografii i rozszerzonej rzeczywistości na przyszłych iPhone’ach. Ponadto, ta technologia umożliwia uruchamianie skomplikowanych asystentów AI i czatbotów na urządzeniach, wpisując się w dążenia Apple w tej dziedzinie.
Zaangażowanie Apple w generatywną AI jest również widoczne w ich rozwoju modelu generacyjnego „Ajax”, zaprojektowanego tak, aby rywalizować z serią GPT OpenAI. Ajax, działający na olbrzymich 200 miliardach parametrów, wewnętrznie nazywany „Apple GPT”, podkreśla strategię Apple dotyczącą głębokiej integracji AI we wszystkich obszarach ich ekosystemu.
Mimo że raporty sugerują, że nowsze modele OpenAI mogą przewyższać możliwości Ajax, można spodziewać się, że Apple zintegruje generatywną AI w systemie iOS około 2024 roku. Kombinacja AI opartej na chmurze i przetwarzania na urządzeniu umożliwia wyobraźnię Apple, gdzie AI jest bezproblemowo wprowadzone w doświadczenie użytkownika ich urządzeń.
FAQ
Czym jest LLM?
LLM (Large Language Model) to duży model językowy, który wykorzystuje techniki sztucznej inteligencji do rozumienia, generowania i przetwarzania języka naturalnego. Są to zaawansowane modele, które mogą być używane w różnych aplikacjach, takich jak czatboty, tłumaczenie języka, generowanie treści i wiele innych.
Jakie są korzyści z wykorzystania pamięci flash w urządzeniach o ograniczonej pamięci?
Pamięć flash oferuje dużą pojemność i szybki dostęp do danych, co jest niezwykle przydatne w przypadku urządzeń o ograniczonej pamięci, takich jak iPhone’y. Dzięki wykorzystaniu technik, takich jak podział na okna i grupowanie wierszy-kolumn, pamięć flash może być efektywnie wykorzystywana do przechowywania danych modeli AI, co prowadzi do zwiększenia prędkości i płynności działania aplikacji AI na tych urządzeniach.
Źródło
Artykuł inspirowany treścią z example.com
The source of the article is from the blog karacasanime.com.ve