Openai diam sebelum “slip” model O3: Apa titik benchmark kontroversial?
Kinerja mengecewakan dari model bahasa O3 baru yang diluncurkan dari Openai adalah memicu gelombang perdebatan intens di komunitas AI. Angka -angka benchmark yang sebenarnya jauh lebih rendah daripada pernyataan awal “orang besar” ini yang menimbulkan keraguan tentang transparansi dan keandalan hasil penelitian yang dipublikasikan.
Artikel terbaru Openai tentang model O3, diharapkan untuk menciptakan terobosan di bidang pemrosesan bahasa alami, dengan cepat menarik perhatian para ahli. Namun, kegembiraan asli dengan cepat digantikan oleh kecurigaan ketika para peneliti independen melakukan penilaian ulang dan menemukan titik -titik abnormal. Hasil benchmark yang mereka peroleh secara signifikan lebih rendah daripada angka -angka mengesankan yang diumumkan oleh Openai, menciptakan perbedaan yang signifikan dan mengajukan pertanyaan tentang metode evaluasi, data pelatihan, serta integritas laporan asli.
Perbedaan ini bukan hanya masalah. Ini secara langsung mempengaruhi prestise Openai, sebuah organisasi terkemuka di bidang kecerdasan buatan. Kurangnya transparansi dalam menjelaskan penyebab perbedaan ini meningkatkan skeptisisme. Sejauh ini, Openai belum memberikan umpan balik resmi untuk mengklarifikasi masalah tersebut. Keheningan ini membuat komunitas AI mengajukan lebih banyak pertanyaan tentang kejujuran dan tanggung jawab perusahaan teknologi besar dalam menerbitkan hasil penelitian.
Ini juga meningkatkan lonceng peringatan tentang pentingnya memverifikasi kemandirian dan evaluasi objektif di bidang AI. Ketergantungan yang berlebihan pada pernyataan satu organisasi dapat menyebabkan penilaian yang menyesatkan dan proses pengembangan teknologi yang lambat. Komunitas perlu menetapkan standar pengujian yang lebih ketat untuk memastikan transparansi dan keandalan publikasi penelitian di masa depan.
Insiden yang terkait dengan model O3 Openai bukan hanya “slip” sederhana, tetapi juga pelajaran berharga tentang pentingnya verifikasi, transparansi, dan tanggung jawab di bidang pengembangan dengan cepat.
#Openai #o3 #ai #benchmark #painting #complags #tracking
: Model O3 Openai kontroversial karena titik tolok ukur yang lebih rendah pada awalnya diumumkan
Openai menghadapi kritik setelah hasil patokan pihak ketiga menunjukkan bahwa model O3 memiliki kinerja yang jauh lebih rendah daripada apa yang diumumkan perusahaan. Secara khusus, Epoch AI Research Institute – pengembang Unit Matematika Frontiermath – mengatakan O3 hanya mencapai sekitar 10% ketika dinilai secara mandiri, jauh lebih rendah dari “lebih dari 25%” yang diumumkan Openai pada bulan Desember tahun lalu.
Pada peluncuran O3, Openai mengkonfirmasi bahwa ini adalah langkah besar dalam kemampuan untuk bernalar matematika, dengan kemampuan untuk memecahkan lebih dari bagian dari masalah di Frontiermath – sementara pesaing hanya menyelesaikan sekitar 2%. Namun, menurut Epoch, skor tertinggi itu kemungkinan akan dibuat dari versi O3 internal dengan kemampuan untuk menghitung lebih unggul dari versi publik.
Faktanya, hasil yang diumumkan oleh Openai juga termasuk tengara yang lebih rendah sesuai dengan skor zaman yang diperoleh. Selain itu, Epoch mengatakan versi yang mereka gunakan adalah Frontiermath baru yang diperbarui, yang mungkin berbeda dari masalah Openai sebelumnya.
ARC Prize Foundation, sebuah organisasi yang diuji O3 sebelum diluncurkan, juga mengkonfirmasi bahwa versi O3 komersial saat ini adalah versi yang disempurnakan untuk situasi aplikasi praktis, bukan tolok ukur yang optimal. Mereka berkata: “Semua perhitungan versi O3 lebih kecil dari versi yang telah kami uji.”
Wenda Zhou – Insinyur Openai – juga berbagi dalam streaming langsung bahwa versi O3 saat ini dirancang untuk menyeimbangkan biaya, kecepatan, dan penerapan, alih -alih menargetkan skor benchmark. “Kami telah mengoptimalkan pengguna untuk tidak menunggu lama ketika bertanya, lebih penting dalam skenario kenyataan,” katanya.
Meskipun agak frustrasi dalam keakuratan pernyataan awal, fakta menunjukkan bahwa Openai sedang bersiap untuk meluncurkan versi O3-Pro yang ditingkatkan. Selain itu, varian seperti O3-Mini-High dan O4-Mini saat ini memiliki hasil yang lebih baik O3 pada set Frontiermath.
Insiden ini adalah pengingat bahwa tes benchmark AI tidak boleh benar -benar diterima, terutama ketika mereka berasal dari penyedia layanan itu sendiri. Industri AI menyaksikan semakin banyak kontroversi seputar transparansi hasil evaluasi.
Sebelumnya, Epoch dikritik karena tidak segera mengungkapkan sponsor dari Openai. Selain itu, Elon Musk dengan Xai juga dituduh menggunakan tolok ukur yang menyesatkan untuk Grok 3, dan Meta baru -baru ini mengaku memamerkan skor benchmark dari model yang berbeda dari versi rilis yang sebenarnya.
Openai menghadapi kritik setelah hasil patokan pihak ketiga menunjukkan bahwa model O3 memiliki kinerja yang jauh lebih rendah daripada apa yang diumumkan perusahaan. Secara khusus, Epoch AI Research Institute – pengembang Unit Matematika Frontiermath – mengatakan O3 hanya mencapai sekitar 10% ketika dinilai secara mandiri, jauh lebih rendah dari “lebih dari 25%” yang diumumkan Openai pada bulan Desember tahun lalu.
Pada peluncuran O3, Openai mengkonfirmasi bahwa ini adalah langkah besar dalam kemampuan untuk bernalar matematika, dengan kemampuan untuk memecahkan lebih dari bagian dari masalah di Frontiermath – sementara pesaing hanya menyelesaikan sekitar 2%. Namun, menurut Epoch, skor tertinggi itu kemungkinan akan dibuat dari versi O3 internal dengan kemampuan untuk menghitung lebih unggul dari versi publik.
Faktanya, hasil yang diumumkan oleh Openai juga termasuk tengara yang lebih rendah sesuai dengan skor zaman yang diperoleh. Selain itu, Epoch mengatakan versi yang mereka gunakan adalah Frontiermath baru yang diperbarui, yang mungkin berbeda dari masalah Openai sebelumnya.
ARC Prize Foundation, sebuah organisasi yang diuji O3 sebelum diluncurkan, juga mengkonfirmasi bahwa versi O3 komersial saat ini adalah versi yang disempurnakan untuk situasi aplikasi praktis, bukan tolok ukur yang optimal. Mereka berkata: “Semua perhitungan versi O3 lebih kecil dari versi yang telah kami uji.”
Wenda Zhou – Insinyur Openai – juga berbagi dalam streaming langsung bahwa versi O3 saat ini dirancang untuk menyeimbangkan biaya, kecepatan, dan penerapan, alih -alih menargetkan skor benchmark. “Kami telah mengoptimalkan pengguna untuk tidak menunggu lama ketika bertanya, lebih penting dalam skenario kenyataan,” katanya.
Meskipun agak frustrasi dalam keakuratan pernyataan awal, fakta menunjukkan bahwa Openai sedang bersiap untuk meluncurkan versi O3-Pro yang ditingkatkan. Selain itu, varian seperti O3-Mini-High dan O4-Mini saat ini memiliki hasil yang lebih baik O3 pada set Frontiermath.
Insiden ini adalah pengingat bahwa tes benchmark AI tidak boleh benar -benar diterima, terutama ketika mereka berasal dari penyedia layanan itu sendiri. Industri AI menyaksikan semakin banyak kontroversi seputar transparansi hasil evaluasi.
Sebelumnya, Epoch dikritik karena tidak segera mengungkapkan sponsor dari Openai. Selain itu, Elon Musk dengan Xai juga dituduh menggunakan tolok ukur yang menyesatkan untuk Grok 3, dan Meta baru -baru ini mengaku memamerkan skor benchmark dari model yang berbeda dari versi rilis yang sebenarnya.
<
h1>Kesimpulan Model O3 OpenAi kontroversial karena skor tolok ukur yang lebih rendah lebih rendah dari pengumuman awal
Openai menghadapi kritik setelah hasil patokan pihak ketiga menunjukkan bahwa model O3 memiliki kinerja yang jauh lebih rendah daripada apa yang diumumkan perusahaan. Secara khusus, Epoch AI Research Institute – pengembang Unit Matematika Frontiermath – mengatakan O3 hanya mencapai sekitar 10% ketika dinilai secara mandiri, jauh lebih rendah dari “lebih dari 25%” yang diumumkan Openai pada bulan Desember tahun lalu.
Pada peluncuran O3, Openai mengkonfirmasi bahwa ini adalah langkah besar dalam kemampuan untuk bernalar matematika, dengan kemampuan untuk memecahkan lebih dari bagian dari masalah di Frontiermath – sementara pesaing hanya menyelesaikan sekitar 2%. Namun, menurut Epoch, skor tertinggi itu kemungkinan akan dibuat dari versi O3 internal dengan kemampuan untuk menghitung lebih unggul dari versi publik.
Faktanya, hasil yang diumumkan oleh Openai juga termasuk tengara yang lebih rendah sesuai dengan skor zaman yang diperoleh. Selain itu, Epoch mengatakan versi yang mereka gunakan adalah Frontiermath baru yang diperbarui, yang mungkin berbeda dari masalah Openai sebelumnya.
ARC Prize Foundation, sebuah organisasi yang diuji O3 sebelum diluncurkan, juga mengkonfirmasi bahwa versi O3 komersial saat ini adalah versi yang disempurnakan untuk situasi aplikasi praktis, bukan tolok ukur yang optimal. Mereka berkata: “Semua perhitungan versi O3 lebih kecil dari versi yang telah kami uji.”
Wenda Zhou – Insinyur Openai – juga berbagi dalam streaming langsung bahwa versi O3 saat ini dirancang untuk menyeimbangkan biaya, kecepatan, dan penerapan, alih -alih menargetkan skor benchmark. “Kami telah mengoptimalkan pengguna untuk tidak menunggu lama ketika bertanya, lebih penting dalam skenario kenyataan,” katanya.
Meskipun agak frustrasi dalam keakuratan pernyataan awal, fakta menunjukkan bahwa Openai sedang bersiap untuk meluncurkan versi O3-Pro yang ditingkatkan. Selain itu, varian seperti O3-Mini-High dan O4-Mini saat ini memiliki hasil yang lebih baik O3 pada set Frontiermath.
Insiden ini adalah pengingat bahwa tes benchmark AI tidak boleh benar -benar diterima, terutama ketika mereka berasal dari penyedia layanan itu sendiri. Industri AI menyaksikan semakin banyak kontroversi seputar transparansi hasil evaluasi.
Sebelumnya, Epoch dikritik karena tidak segera mengungkapkan sponsor dari Openai. Selain itu, Elon Musk dengan Xai juga dituduh menggunakan tolok ukur yang menyesatkan untuk Grok 3, dan Meta baru -baru ini mengaku memamerkan skor benchmark dari model yang berbeda dari versi rilis yang sebenarnya.
.Awesome {position: absolute; Perbatasan: 2px Solid #990000; -Moz-border-radius: 50%; -MS-Border-Radius: 50%; Border-Radius: 50%; Animasi: Bounce 2s Infinite; -Webkit-animasi: bouncing 2s Infinite; -Moz-animasi: Bounce 2s Infinite; -O-anime: Bounce 2s Infinite; Tampilan: blok inline; padding: 3px 3px 3px; Warna: #fff; Latar Belakang: #990000; Font-size: 20px; Line-Height: 1; -Moz-border-Radius: 5px; -Webkit-border-radius: 5px; -Moz-box-shadow: 0 1px 3px #999; -Webkit-box-shadow: 0 1px 3px #999; Teks -Shadow: 0 -1px 1px #222; Border-Bottom: 1px Solid #222; Posisi: kerabat; Kursor: pointer; }Posting Openai diam sebelum “slip” model O3: Apa titik tolok ukur kontroversial? Pertama kali muncul Queen Mobile.
Eksplorasi konten lain dari Heart To Heart
Berlangganan untuk dapatkan pos terbaru lewat email.
