Google'ın uzun süredir söylentileri dolaşan ChatGPT’ye rakip olarak sunulan Gemini'ı parlak bir demo videosuyla dünyaya tanıtmasının üzerinden bir aydan kısa bir süre geçti. Şimdi yapılan yeni bir araştırma, Gemini'nin şu anda tüketicilere sunulan en güçlü sürümü olan Gemini Pro'nun çoğu görev açısından OpenAI'nin GPT-3.5 Turbo büyük dil modelinin (LLM) gerisinde kaldığını ortaya koyuyor.
Google'ın en azından aylardır geliştirme aşamasında olan yepyeni LLM'si, çoğu görevde OpenAI'nin daha eski, daha az gelişmiş, ücretsiz modelinden daha kötü performans gösteriyor. Sonuçta, ChatGPT Plus ve Enterprise ücretli aboneleri, temel GPT-4 ve GPT-4V (çok modlu teklif) LLM'lerine zaten düzenli olarak erişebilir ve kullanabilir ve bu yılın daha iyi bir kısmı için ilkine erişimleri vardı.
GOOGLE SÖZCÜSÜNDEN AÇIKLAMA GELDİ
Carnegie Mellon Üniversitesi'nden bir araştırmacı ekibinin ve BerriAI olarak tanımlanan bir kuruluştan birinin "An In-depth Look at Gemini's Language Abilities" (Gemini’ın Dil Yeteneklerine Derinlemesine Bir Bakış) başlıklı makalesi dün ön hakemlik ve açık erişimli bilim sitesi arXiv.org'da yayınlandı.
Makalenin özetinde, "Özetle, tüm görevlerde, bu yazı itibariyle (19 Aralık 2023), Gemini'nin Pro modelinin OpenAI'nin GPT 3.5 Turbo'nun mevcut sürümüne kıyasla karşılaştırılabilir ancak biraz daha düşük doğruluk elde ettiğini gördük” ifadeleri yer aldı.
Fakat makalenin yayımlanmasının ardından bir Google sözcüsü, Google'ın kendi araştırmalarının Gemini Pro'nun GPT-3.5'ten daha iyi performans gösterdiğini ve 2024'ün başlarında çıkacak olan daha güçlü bir sürüm olan Gemini Ultra'nın Google'ın dahili araştırmasında GPT-4'ten daha yüksek puan aldığını söyledi.
Uzmanlar, Google’ın Gemini’ı ve OpenAI’ın ChatGPT’si daha fazla yaygınlaştıkça hangisinin daha iyi olduğunun da ortaya çıkacağını düşünüyor.
