2024-10-23 07:15:21 Peneliti Apple coba menambahkan informasi yang tidak penting ke pertanyaan matematika, AI justru bisa menghasilkan jawaban yang berbeda/tidak akurat.
Beritasaja.com - Tim peneliti dari perusahaan inovasi mengeklaim telah menemukan (/).
penelitian yang dipimpin oleh insinyur riset pembelajaran mesin (machine learning/ML), Iman Mirzadeh, menemukan bahwa perubahan kecil terhadap susunan pertanyaan matematika yang diberikan kepada model bahasa besar (/), dapat menyebabkan perbedaan besar dalam kinerja model itu.
Akurasi jawaban LLM menurun sekitar 65 persen, sehingga LLM tersebut kurang bisa diandalkan dalam skenario yang membutuhkan logika yang konsisten.
Untuk diketahui, LLM adalah program atau model yang dapat mengenali dan menghasilkan teks, serta memproses bahasa.
Hal ini membuatnya dapat berinteraksi dengan pengguna memakai bahasa yang natural.
Model bahasa besar dilatih menggunakan kumpulan data (dataset) yang luar biasa besar.
Oleh karena itu, LLM disebut sebagai model bahasa yang large alias besar.
LLM ini mendukung program AI generatif (generative AI/AI yang bisa menghasilkan teks, video, audio), seperti ChatGPT dan Microsoft Copilot.
Baca juga:
Pertanyaan soal buah kiwi
tim peneliti dari Apple menguji berbagai model bahasa besar unggulan, seperti milik OpenAI dan Meta, untuk melihat bagaimana model tersebut dapat menangani tugas penalaran matematika.
Model bahasa besar tersebut dites menggunakan alat pengujian (benchmark) baru bernama GSM-Symbolic.
Dalam beberapa pengujian, peneliti mendemonstrasikan bahwa menambahkan informasi yang tidak penting ke pertanyaan matematika, justru bisa menghasilkan jawaban yang berbeda di berbagai model bahasa besar.
Padahal, detail ini seharusnya tidak berpengaruh terhadap hasil perhitungan matematika yang dilakukan LLM.
Sebagai contoh, peneliti memberikan pertanyaan matematika sederhana terkait berapa jumlah buah kiwi yang dikumpulkan seseorang dalam beberapa hari.
Ketika peneliti menambahkan keterangan, seperti ukuran buah kiwi itu, model LLM seperti OpenAI o1 dan Llama milik Meta jadi salah menghitung total jumlah buah kiwi.
Baik model LLM sumber terbuka (open-source) maupun LLM yang dilisensi (proprietary) sama-sama mengalami penurunan akurasi.
Baca juga:
Kerapuhan dalam penalaran ini mendorong para peneliti, untuk menyimpulkan bahwa LLM yang diuji tidak menggunakan logika nyata untuk memecahkan masalah, tetapi sebaliknya mengandalkan pengenalan pola canggih yang dipelajari selama kemampuan.
Menteri Sekretaris Negara (Mensesneg) Prasetyo Hadi melakukan kunjungan kerja ke Kementerian Komunikasi dan Digital Indonesia pada Kamis (14/11/2024).
Menteri Sekretaris Negara (Mensesneg) Prasetyo Hadi mengungkap kembali arahan Presiden Prabowo Subianto terkait penanganan kasus judi online.
Simak resep salad sayur hijau terdiri dari brokoli, kacang kapri, mentimun jepang, paprika hijau, daun kacang kapri, bawang putih, dan minyak zaitun.
Johan Martial, kakak dari eks penyerang Manchester United, Anthony, akan menonton langsung laga Indonesia vs Jepang di SUGBK.
Mari kita pelajari lebih lanjut tentang berbagai aspek penting dari pemeriksaan MRI ini
Kementerian Komunikasi dan Digital (Komdigi) akan mengevaluasi kebijakan terkait perekrutan tenaga ahli untuk ditugaskan dalam tim pemblokiran situs-situs bermuatan judi online.
Biasanya makanan dan minuman ultra-proses menyebabkan seseorang cepat lelah, bahkan sehabis makan. Simak beberapa contohnya dan alasannya.
Nurul menyebutkan bahwa kolaborasi lintas sektor, seperti yang dilakukan pemerintah dengan PPATK dan OJK, adalah langkah yang sangat strategis.
Kumpulan nama Instagram untuk berdua.
Calon gubernur dan wakil gubernur Jakarta nomor urut 1 Ridwan Kamil-Suswono (RIDO) menjanjikan, sekolah swasta gratis bagi peserta didik di Jakarta, jika terpilih Pilkada Jakarta 2024.
14 Nov 2024
14 Nov 2024
"Berita Saja" adalah pilihan yang tepat bagi mereka yang mencari sumber berita yang dapat diandalkan dan informatif. Dengan berbagai fitur dan komitmennya terhadap kualitas, "Berita Saja" telah membangun reputasi sebagai platform berita yang patut dicontoh. Kunjungi situsnya hari ini dan tetaplah terinformasi dengan berita terbaru dari sumber yang terpercaya..
Copyright ©2021 Beritasaja.com