Yapay zeka dendiğinde ilk akla gelen OpenAI'ın sohbet botu ChatGPT oluyor. Kasım 2022'de kullanıma açılmasıyla büyük ilgi toplayan yapay zeka destekli sohbet botu son dönemlerde eski popülaritesini yakalayamıyor. Yapılan yeni bir araştırmaya göre ChatGPT, yaşlanmaya başladıkça yeteneklerini kaybediyor. Öyle ki araştırmacılar, ChatGPT'nin kötüleşme sebebini de bulamıyor.
Geçtiğimiz günlerde yayınlanan bir çalışmaya göre, Stanford ve UC Berkeley Üniversitesinden araştırmacılar, ChatGPT'nin kullanıma açılan son modelinin, birkaç ay içerisinde aynı soru dizisine doğru yanıtlar verme yeteneğini kaybetmeye başladığını tespit etti.
Ne var ki araştırmacılar, yapay zeka destekli dil modelinin, yeteneklerini kaybetme sebebine bir yanıt bulamadı.
ChatGPT'de işler yolunda gitmiyor
Araştırmacılar Lingjiao Chen, Matei Zaharia ve James Zou, farklı ChatGPT mdellerinin güvenilirliğini test etmek için ChatGPT-3.5 ve ChatGPT-4'ü karşılaştırdı. Araştırmacılar, iki sohbet botundan da bir dizi matematik problemini çözmelerini, hassas soruları yanıtlamalarını, yeni kod satırları yazmalarını ve istemlerden uzamsal muhakeme yapmalarını istediler.
We evaluated #ChatGPT's behavior over time and found substantial diffs in its responses to the *same questions* between the June version of GPT4 and GPT3.5 and the March versions. The newer versions got worse on some tasks. w/ Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
— James Zou (@james_y_zou) July 19, 2023
Araştırmanın sonunda ise mart ayında ChatGPT-4 asal sayıları yüzde 97,6 doğruluk oranıyla tanımlayabilirken, haziran ayında yapılan aynı testte dil modelinin, verdiği yanıtların doğruluk payını yüzde 2,4 düştüğü tespit edildi.
Buna karşın, daha önceki GPT-3.5 modeli aynı zaman dilimi içerisinde asal sayı tanımlama konusunda gelişme göstermişti.
İlginizi çekebilir: Tesla'nın ikinci çeyrek kazanç raporu açıklandı
Öte yandan yeni kod satırları üretme söz konusu her iki modelin de yetenekleri mart ve haziran ayları arasında önemli ölçüde kötüleşti.
Ayrıca ChatGPT'nin birtakım hassas sorulara verdiği yanıtlarda, bazı etnik köken ve cinsiyete odaklandığı görüldü.
Sohbet robotunun önceki versiyonları, bazı hassas soruları neden yanıtlayamadığına dair kapsamlı gerekçeler sunuyordu. Ancak haziran ayında modeller kullanıcıdan özür dileyerek cevap vermeyi reddetmeye başladı.
Bununla birlikte araştırmacılar ChatGPT'nin davranışlarının yeniden değişebileceği konusunda birtakım imalarda bulunarak, yapay zeka model kalitesinin sürekli olarak izlenmesi gerektiğine dikkat çekti.