Apple podejmuje kroki w celu zintegrowania swojego modelu nauki języka, znanego jako GPT (Generative Pre-trained Transformer), do urządzeń iPhone i iPad. Wprowadzenie tego ruchu ma na celu wzmocnienie możliwości Siri i zapewnienie użytkownikom bardziej dostępnej integracji skrótów. Podczas gdy gigant technologiczny inwestuje wiele w szkolenie swojego modelu językowego, jednym z kluczowych aspektów, które wyróżniają Apple, jest jego zaangażowanie w wykorzystanie przetwarzania na urządzeniu zamiast polegania wyłącznie na przetwarzaniu w chmurze.
Aby osiągnąć funkcjonalność na urządzeniach dla GPT, badacze Apple opracowali metodę, która wykorzystuje efektywnie duże modele językowe z ograniczoną pamięcią. Ich podejście polega na konstrukcji modelu kosztów wnioskowania, który jest zgodny z zachowaniem pamięci flash, optymalizując wolumen danych przesyłanych z pamięci flash i umożliwiając odczyt większych, spójnych fragmentów. To jest możliwe dzięki dwóm innowacyjnym technologiom zaimplementowanym przez Apple:
1. Przenoszenie okienkowe (Windowing): Ta technika selektywnie wczytuje parametry dla kilku ostatnich tokenów, wykorzystując aktywacje z wcześniej obliczonych tokenów. Dzięki zastosowaniu podejścia ze slajdowym przesuwaniem okna, liczba żądań wejścia/wyjścia (IO) potrzebnych do wczytania wag jest znacznie zmniejszona.
2. Zebranie wierszowo-kolumnowe (Row-column bundling): Apple przechowuje połączone projekcje wierszy i kolumn, aby odczytać większe, spójne fragmenty z pamięci flash. To zwiększa przepustowość, umożliwiając odczyt większych bloków danych.
Wdrożenie tych metod może skutkować znacznym wzrostem wydajności. Procesory (CPUs) mogą doświadczyć 4-5-krotnego wzrostu szybkości, podczas gdy karty graficzne (GPUs) mogą być nawet 20-25 razy szybsze. W rezultacie modele AI Apple mogą mieć potencjalnie dwa razy większy rozmiar niż pamięć iPhone’a. W praktyce oznacza to, że Siri stanie się bardziej zdolna do tłumaczenia w czasie rzeczywistym, analizy zdjęć i filmów oraz zdobywania wglądu w zachowanie i preferencje użytkownika.
Poprzez priorytetowe przetwarzanie na urządzeniu, Apple podkreśla swoje zaangażowanie w prywatność użytkownika, zgadzając się z wizją prywatności jako „podstawowego praw człowieka”. Podczas gdy dokładny harmonogram integracji GPT do urządzeń Apple pozostaje niepewny, spodziewa się, że firma wprowadzi tę technologię dla użytkowników iPhone’ów i iPadów w czasie cyklu iOS 18, możliwie pod koniec 2024 roku. W miarę jak Apple nadal poszerza granice technologii AI, użytkownicy z niecierpliwością oczekują wprowadzenia tego przełomowego ulepszenia.
Często zadawane pytania (FAQ)
Pytanie: Kiedy Apple wprowadzi integrację GPT w urządzeniach iPhone i iPad?
Odpowiedź: Dokładny harmonogram integracji pozostaje niepewny, ale spodziewa się, że Apple wprowadzi tę technologię dla użytkowników iPhone’ów i iPadów pod koniec 2024 roku, w czasie cyklu iOS 18.
Pytanie: Jakie korzyści przyniesie implementacja technik windowing i row-column bundling?
Odpowiedź: Implementacja tych technik może znacznie zwiększyć wydajność. CPUs mogą doświadczyć 4-5-krotnego wzrostu szybkości, a GPUs mogą być nawet 20-25 razy szybsze. To oznacza, że modele AI Apple mogą mieć dwukrotnie większy rozmiar niż pamięć iPhone’a.
Definicje
– GPT (Generative Pre-trained Transformer): Model językowy oparty na transformerze, trenowany w procesie samopoprawy na podstawie dużych zbiorów danych. GPT został opracowany przez OpenAI i ma szerokie zastosowanie w dziedzinie przetwarzania języka naturalnego.
– Siri: Wirtualny asystent głosowy opracowany przez Apple. Siri odpowiada na pytania użytkowników, wykonuje polecenia i zapewnia różne usługi, integrując się z różnymi aplikacjami na urządzeniach Apple.
Źródło: www.apple.com
The source of the article is from the blog maltemoney.com.br