Zaktualizowany Bard został porównany z ChatGPT: który okazał się lepszy
W grudniu Google ogłosiło wydanie swojego najpotężniejszego modelu językowego, Gemini, i natychmiast zintegrowało go z chatbotem Bard. Ale czy to wystarczy, aby konkurować z bardziej popularnym ChatGPT?
Dziennikarka The Verge Emily David sprawdziły się oba – krótko opowiadamy, co się wydarzyło.
Zarówno Bard, jak i ChatGPT to zaawansowane chatboty konwersacyjne, które działają na dużych modelach językowych i mogą odpowiadać na zapytania o różnym stopniu złożoności. Jednocześnie chatbot Google jest nadal darmowy (podczas gdy ChatGPT Plus oparty na GPT-4 może być używany za 20 USD miesięcznie) i może wyświetlać wersje robocze innych zapytań. Z drugiej strony, Bard nie ma jeszcze możliwości multimodalnych (tj. może reagować i generować wyniki za pomocą dźwięku, obrazu lub wideo), z wyjątkiem tworzenia wykresów – co prawdopodobnie zostanie naprawione w następnej wersji Ultra.
W testach David korzystał z prostych zapytań tekstowych, takich jak prośba o przepis na ciasto lub opis historii herbaty. Ostatecznie najważniejszą różnicą było to, że Bard ma tendencję do bycia wolniejszym niż ChatGPT, zazwyczaj potrzebując 5-6 sekund na “myślenie”, podczas gdy konkurentowi udało się to zrobić w 1-3 sekundy (dziennikarz testował chatboty w domowym i biurowym Wi-Fi przez kilka dni, aby potwierdzić różnicę w wydajności).
Google zapewnił również swojemu chatbotowi kilka więcej ograniczeń niż ChatGPT, tj. Bard częściej odmawiał odpowiedzi na zapytania związane z naruszeniem praw autorskich lub dotyczące rasistowskich lub szkodliwych tematów.
Zapytany o klasyczny przepis na ciasto czekoladowe, ChatGPT podał wątpliwą rekomendację użycia przegotowanej wody, podczas gdy Bard skopiował przepis dokładnie z popularnego bloga kulinarnego, ale z jakiegoś powodu chciał podwoić liczbę jajek. Emily David ostatecznie przetestowała obie końcówki – i ostatecznie obie okazały się całkiem jadalne, chociaż ciasto Bard było nieco grudkowate.
Kolejna prośba dotyczyła informacji o herbacie i rekomendacji książek. Oba chatboty przedstawiły historię pochodzenia, rodzaje, korzyści zdrowotne i metody parzenia. Bard dodał kilka linków do specjalistycznych artykułów, podczas gdy ChatGPT udzielił bardziej rozbudowanej odpowiedzi z dziewięcioma kategoriami skupiającymi się na kulturowym znaczeniu napoju w różnych krajach, globalnej produkcji, technikach warzenia i pochodzeniu. Kiedy David powtórzył monit, zamiast dłuższego wyniku, ChatGPT dostarczył listę sześciu pozycji z jednym lub dwoma zdaniami dla każdej kategorii.
Co ważne – wszystkie książki polecane przez chatboty naprawdę istniały w rzeczywistości (co jest całkiem dobre, biorąc pod uwagę zdolność technologii do halucynacji). Tylko w jednym – Bard zmylił autorów.
Na dobre i na złe, studenci i uczniowie otrzymali teraz bardzo potężne narzędzie, które może z łatwością odrobić pracę domową lub pomóc im znaleźć informacje i dostarczyć je w streszczonej formie. Oba chatboty odpowiedziały na pytanie “Co oznacza ‘Sonet 116’?” za pomocą podsumowania i analizy (a Bard podkreślił również kluczowe punkty).
W tym samym czasie chatbot Google zawiódł, gdy dziennikarz zapytał go o jego biografię, mówiąc, że “nie ma wystarczających informacji o tej osobie”. Podczas gdy ChatGPT przejrzał stronę internetową i biografię Emily David, a także wziął informacje z artykułu w Internecie.
Poniżej znajdują się wyniki dla zapytania “narysuj konia bawiącego się na polu stokrotek o świcie” dla ChatGPT i zapytania “narysuj słońce” dla Bard (ten ostatni, jak wspomniano wcześniej, może na razie tworzyć tylko wykresy, więc wydaje się, że wykonał zadanie z jego obecnymi możliwościami).
A gdzie można pójść bez Taylor Swift? Poproszony o tekst piosenki piosenkarki, Bard początkowo odmówił odpowiedzi, twierdząc, że nie ma żadnych informacji na temat tej osoby, chociaż następnego dnia opublikował piosenkę kogoś innego. ChatGPT natomiast skorzystał z podpowiedzi i nawet uruchomił tor.
I na koniec prowokacyjne pytanie: “Co jest lepsze, iPhone 15 czy Pixel 8?” Wydaje się, że ChatGPT przedstawił rzetelne porównanie obu urządzeń, ale nie podał ważnych szczegółów, takich jak cena, rozdzielczość kamery i inne funkcje. Tymczasem Bard (należący do twórcy Pixela 8) nie potrafił w ogóle odpowiedzieć na to pytanie. Twierdził, że iPhone 15 nie został jeszcze oficjalnie wydany, prawdopodobnie z powodu ograniczeń w danych treningowych.
“Co nowego w sprawie Epic vs Google?” – obie strony przedstawiły aktualizacje: Epic wygrał sprawę. ChatGPT postanowił napisać dwa akapity podsumowujące zwycięstwo Epic i linkujące do artykułów Reutersa, WBUR i Digital Trends.
W międzyczasie Bard przypomniał, dlaczego ława przysięgłych uznała Google winnym, mówiąc, że firma utrzymywała nielegalny monopol za pośrednictwem Sklepu Play, nieuczciwie tłumiła konkurencję i stosowała taktyki antykonkurencyjne. Nakreślił również, jakie kolejne kroki może podjąć Google i szersze implikacje zwycięstwa Epic dla krajobrazu sklepu z aplikacjami. Chociaż Bard podał prawidłowe fakty, jego referencje nie były tak przekonujące: odniósł się do artykułu The Verge, który oznaczył jako komunikat prasowy Epic Games, podczas gdy artykuł TechCrunch został oznaczony jako artykuł Reuters.
