Badanie wykazało, że Gemini Pro Google jest gorszy od GPT-3.5 Turbo OpenAI
Badanie przeprowadzone przez Carnegie Mellon University i BerriAI wykazało, że model językowy Google Gemini Pro był mniej wydajny niż model GPT-3.5 Turbo od OpenAI w większości zadań testowych, pisze VentureBeat.
Test zawierał pytania wielokrotnego wyboru z różnych dziedzin, a także zadania logiczne.
Gemini Pro wykazał słabsze wyniki, szczególnie w obszarach związanych z matematyką, programowaniem i przetwarzaniem złożonych zapytań. Jednocześnie model ten wykazał pewne zalety w zadaniach związanych z sortowaniem słów, symboli i tłumaczeniem tekstu.
Jednak pomimo tych indywidualnych sukcesów, Gemini Pro pozostaje w tyle za GPT-3.5 Turbo pod względem ogólnej wydajności. Odpowiadając na wyniki badania, przedstawiciel Google wskazał na wyższość Gemini Pro w innych wewnętrznych testach i wyraził oczekiwanie, że następny model, Gemini Ultra, którego premiera zaplanowana jest na 2024 rok, przewyższy obecne modele, w tym GPT-4.
