Apple stworzyło sztuczną inteligencję, która może przewyższać GPT-4 w rozumieniu poleceń
Naukowcy Apple opracowali system sztucznej inteligencji o nazwie ReALM (Reference Resolution as Language Modeling), który ma na celu radykalną poprawę sposobu, w jaki asystenci głosowi rozumieją i reagują na polecenia.
W artykule badawczym opublikowanym przez VentureBeat, Apple przedstawia nowy system rozwiązywania problemu rozpoznawania referencji (wskazówek, odniesień lub linków) przez duże modele językowe. Obejmuje to rozszyfrowanie niejednoznacznych odniesień lub opisów elementów na ekranie oraz zrozumienie kontekstu rozmowy i ogólnego tła. W rezultacie ReALM może prowadzić do bardziej intuicyjnych i naturalnych interakcji z urządzeniami.
Rozpoznawanie odniesień jest ważną częścią rozumienia języka naturalnego, umożliwiając użytkownikom używanie zaimków i innych pośrednich odniesień w rozmowie bez pomyłek. W przypadku asystentów cyfrowych zdolność ta stanowiła w przeszłości poważne wyzwanie, ograniczone koniecznością interpretowania szerokiego zakresu wskazówek werbalnych i informacji wizualnych. System ReALM firmy Apple ma na celu rozwiązanie tego problemu poprzez przekształcenie złożonego procesu rozpoznawania referencji w czysto językowe zadanie modelowania. W ten sposób może zrozumieć odniesienia do elementów wizualnych wyświetlanych na ekranie i zintegrować to zrozumienie z przebiegiem rozmowy.
ReALM rekonstruuje wizualny układ ekranu przy użyciu reprezentacji tekstowych. Obejmuje to analizę elementów na ekranie i ich lokalizacji w celu utworzenia formatu tekstu, który odzwierciedla zawartość i strukturę ekranu. Naukowcy Apple odkryli, że ta strategia, w połączeniu z określonymi modyfikacjami modeli językowych dla zadań rozpoznawania referencyjnego, znacznie przewyższa tradycyjne metody, w tym możliwości GPT-4 OpenAI.
ReALM może umożliwić użytkownikom bardziej efektywną interakcję z cyfrowymi asystentami, pamiętając o tym, co jest aktualnie wyświetlane na ekranie, bez potrzeby precyzyjnych, szczegółowych instrukcji. Może to sprawić, że asystenci głosowi będą znacznie bardziej przydatni w różnych sytuacjach, takich jak pomoc kierowcom w obsłudze systemów informacyjno-rozrywkowych podczas jazdy lub pomoc użytkownikom niepełnosprawnym poprzez zapewnienie łatwiejszego i dokładniejszego sposobu pośredniej interakcji.
Apple opublikowało już kilka prac badawczych w dziedzinie sztucznej inteligencji. W zeszłym miesiącu firma wprowadziła nową metodę szkolenia dużych modeli językowych, która w sposób ciągły integruje informacje tekstowe i wizualne. Oczekuje się, że Apple zaprezentuje szereg funkcji AI podczas Worldwide Developers Congress w czerwcu.
