xAI udostępnia swój potężny model językowy Grok
Należąca do Elona Muska firma xAI opublikowała kod źródłowy swojego dużego modelu językowego Grok-1 z 314 miliardami parametrów w serwisie GitHub na licencji open source Apache 2.0.
Otwarta wersja zawiera podstawowe wagi modelu, architekturę sieci i inne komponenty. Jak wspomniano, Grok-1 nie został specjalnie zoptymalizowany ani ocenzurowany pod kątem konkretnych zadań, takich jak systemy dialogowe.
W tym tygodniu @xAI otworzy oprogramowanie Grok
– Elon Musk (@elonmusk) 11 marca 2024 r.
Model był szkolony przez cztery miesiące do października 2023 r. i miał generować kod, teksty i odpowiedzi na pytania. Otwarcie kodu umożliwi zewnętrznym badaczom i programistom pracę z modelem.
Pomimo otwartości skal i innych komponentów, Grok-1 jest dostarczany bez kodu szkoleniowego i powtarzalnych zestawów danych.
Wagi Grok są dostępne pod Apache 2.0: https://t.co/9K4IfarqXK
Jest bardziej open source niż inne modele open weights, które zwykle mają ograniczenia użytkowania.
Jest mniej open source niż Pythia, Bloom i OLMo, które zawierają kod szkoleniowy i powtarzalne zestawy danych. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
– Sebastian Raschka (@rasbt) 17 marca 2024 r.
Po zakupie Twittera (X) Elon Musk wielokrotnie krytykował zamknięty kod źródłowy konkurencyjnych modeli sztucznej inteligencji, takich jak OpenAI. Teraz pozywa OpenAI, oskarżając firmę o naruszenie umowy open source.
Publikowanie kodu źródłowego jest powszechną praktyką uzyskiwania opinii i ulepszania modeli. Najwięksi gracze wolą jednak trzymać kod zamknięty lub wydawać ograniczone licencje, jak ma to miejsce w przypadku Meta’s Llama 2.
Po uruchomieniu chatbota Grok opartego na tym modelu, wymagana była płatna subskrypcja X, aby uzyskać do niego wcześniejszy dostęp. Jednak we wstępnych testach nie udało mu się wyróżnić na tle ChatGPT, Gemini i innych bardziej zaawansowanych systemów.
