in

Peneliti Standford Ungkap GPT-4 Makin Tidak Akurat

Performa GPT-4. Doc: Bloomberg
Performa GPT-4. Doc: Bloomberg

GPT-4 adalah program artificial Intelligence AI yang diperkenalkan oleh OpenAI sebagai versi lebih canggih dari versi ChatGPT sebelumnya. Model AI ini mendapatkan banyak perhatian, seperti pendahulunya karena dinilai akan memberikan respon dan outcome terhadap perintah dengan lebih baik. Namun, akhir-akhir ini banyak pengguna yang mulai mengeluhkan bahwa GPT-4 memiliki performa yang semakin buruk seiring berjalannya waktu.

Keluhan ini ternyata bukan hanya desas-desus belaka, sebab, penelitian yang dilakukan oleh Standford University justru menunjukkan memang ada penurunan akurasi dari GPT-4. Bahkan, disebutkan bahwa chatbot AI ini semakin bodoh. Penelitian yang merupakan penelitian gabungan antara Standford University dan UC Berkeley mengungkap GPT-4 bukannya menunjukkan peningkatan performa dari model sebelumnya, chat bot AI ini justru dianggap menunjukan outcome yang lebih buruk.

Penelitian yang berjudul “How is ChatGPT’s Behavior Changing Overtime?”sebelumnya menguji kemampuan GPT-4 dan versi sebelumnya yaitu GPT-3.5 pada periode Maret hingga Juni. Studi ini menguji dua versi model, dengan kumpulan data termasuk 500 masalah. Menariknya, pada bulan Maret, GPT-4 mampu menunjukkan tingkat akurasi 97,6% dengan 488 jawaban benar. Sedangkan pada bulan Juni setelah dilakukan beberapa pembaharuan, tingkat akurasi GPT-4 justru turun hingga 2,4% dengan menghasilkan 12 jawaban yang benar.

Peneliti juga melakukan tes lainnya yaitu menanyakan pada GPT-4 soal angka 17.077 merupakan bilangan prima atau bukan. Pertanyaan ini terkait dengan penalaran. Sayangnya, tak hanya salah menjawab, GPT-4 juga tidak memberikan penjelasan soal jawabannya tersebut.