Penelitian telah menunjukkan bahwa kinerja chatbot seperti ChatGPT dapat menurun seiring waktu karena penurunan kualitas data pelatihan.
· Model pembelajaran mesin rentan terhadap keracunan data dan kerusakan model, yang secara signifikan dapat mengurangi kualitas keluarannya.
Sumber konten yang andal sangat penting untuk mencegah penurunan kinerja chatbot, menciptakan tantangan bagi pengembang AI di masa mendatang.
Chatbot modern terus belajar dan perilakunya selalu berubah, tetapi kinerjanya dapat menurun atau meningkat.
Penelitian terbaru membalikkan asumsi bahwa "belajar selalu berarti kemajuan", yang berimplikasi pada masa depan ChatGPT dan rekan-rekannya. Agar chatbot tetap aktif dan berjalan, pengembang kecerdasan buatan (AI) harus mengatasi tantangan data yang muncul.
ChatGPT semakin bodoh dari waktu ke waktu
Sebuah studi yang baru-baru ini diterbitkan menunjukkan bahwa chatbots mungkin kurang mampu melakukan tugas tertentu dari waktu ke waktu.
Untuk mencapai kesimpulan ini, para peneliti membandingkan keluaran model bahasa besar (LLM) GPT-3.5 dan GPT-4 pada bulan Maret dan Juni 2023. Hanya dalam tiga bulan, mereka mengamati perubahan dramatis pada model yang mendukung ChatGPT.
Misalnya, pada bulan Maret tahun ini, GPT-4 mampu mengidentifikasi bilangan prima dengan akurasi 97,6%. Pada bulan Juni, akurasinya anjlok menjadi 2,4 persen.
Jawaban GPT-4 (kiri) dan GPT-3.5 (kanan) untuk pertanyaan yang sama di bulan Maret dan Juni (sumber: arXiv)
Eksperimen tersebut juga menilai kecepatan model dalam menjawab pertanyaan sensitif, kemampuannya menghasilkan kode, dan kemampuannya bernalar secara visual. Di semua keterampilan yang mereka uji, tim mengamati bahwa kualitas keluaran AI menurun seiring waktu.
Tantangan dengan data pelatihan real-time
Pembelajaran mesin (ML) bergantung pada proses pelatihan di mana model AI dapat meniru kecerdasan manusia dengan memproses informasi dalam jumlah besar.
Misalnya, pengembangan LLM yang mendukung chatbot modern telah diuntungkan dengan tersedianya sejumlah besar repositori online. Ini termasuk kumpulan data yang dikompilasi dari artikel Wikipedia, memungkinkan chatbot untuk belajar dengan mencerna kumpulan pengetahuan manusia terbesar yang pernah dibuat.
Tapi sekarang, alat seperti ChatGPT dirilis secara luas. Pengembang memiliki kontrol yang jauh lebih sedikit atas data pelatihan mereka yang selalu berubah.
Masalahnya, model seperti itu juga bisa "belajar" memberikan jawaban yang salah. Jika kualitas data pelatihan menurun, keluarannya juga akan menurun. Ini menimbulkan tantangan bagi chatbots dinamis, yang membutuhkan aliran konten web scraped yang stabil.
Keracunan data dapat menyebabkan penurunan kinerja chatbot
Karena chatbot cenderung mengandalkan konten yang diambil dari web, mereka sangat rentan terhadap jenis manipulasi yang dikenal sebagai keracunan data.
Itulah yang terjadi pada bot Twitter Microsoft Tay pada tahun 2016. Kurang dari 24 jam setelah diluncurkan, pendahulu ChatGPT mulai memposting tweet yang menghasut dan menyinggung. Pengembang Microsoft dengan cepat menghentikannya dan memulai kembali.
Ternyata, troll dunia maya melakukan spam pada bot sejak awal, memanipulasi kemampuannya untuk belajar dari interaksinya dengan publik. Setelah dilecehkan oleh tentara 4channer, tidak mengherankan jika Tay mulai menirukan ujaran kebencian mereka.
Seperti Tay, chatbot kontemporer adalah produk dari lingkungannya dan rentan terhadap serangan serupa. Bahkan Wikipedia, yang sangat penting dalam pengembangan LLM, dapat digunakan untuk meracuni data pelatihan pembelajaran mesin.
Namun, data yang sengaja dirusak bukan satu-satunya sumber informasi yang salah yang harus diwaspadai oleh pengembang chatbot.
** Model Crash: Bom Waktu untuk Chatbots? **
Dengan semakin populernya alat AI, konten yang dihasilkan AI juga berkembang biak. Tapi apa yang terjadi pada LL.M.s yang terlatih dalam kumpulan data pengikisan web jika semakin banyak konten yang dibuat oleh pembelajaran mesin itu sendiri?
Pertanyaan ini dieksplorasi dalam survei terbaru tentang dampak rekursi pada model pembelajaran mesin. Jawaban yang ditemukan memiliki implikasi besar bagi masa depan kecerdasan buatan generatif.
Para peneliti menemukan bahwa ketika materi yang dihasilkan AI digunakan sebagai data pelatihan, model pembelajaran mesin mulai melupakan apa yang telah mereka pelajari sebelumnya.
Mereka menciptakan istilah "keruntuhan model", mencatat bahwa keluarga AI yang berbeda semuanya cenderung merosot ketika terpapar konten buatan manusia.
Dalam satu percobaan, tim membuat lingkaran umpan balik antara model pembelajaran mesin penghasil gambar dan keluarannya.
Setelah pengamatan, mereka menemukan bahwa setelah setiap iterasi, model tersebut memperkuat kesalahannya sendiri dan mulai melupakan data yang awalnya dibuat oleh manusia. Setelah 20 loop, hasilnya hampir mirip dengan dataset asli.
Keluaran model ML pembuatan gambar (sumber: arXiv)
Para peneliti mengamati tren degradasi yang sama saat melakukan skenario serupa dengan LL.M. Selain itu, dengan setiap iterasi, kesalahan seperti frasa berulang dan ucapan terputus-putus lebih sering terjadi.
Oleh karena itu, penelitian ini berspekulasi bahwa generasi ChatGPT di masa mendatang mungkin berisiko mengalami keruntuhan model. Jika AI menghasilkan lebih banyak konten online, kinerja chatbots dan model pembelajaran mesin generatif lainnya dapat memburuk.
Konten andal yang Anda perlukan untuk mencegah penurunan kinerja chatbot
Ke depan, sumber konten yang andal akan menjadi semakin penting untuk mencegah efek penurunan kualitas data yang rendah. Perusahaan yang mengontrol akses ke apa yang dibutuhkan untuk melatih model pembelajaran mesin memegang kunci untuk inovasi lebih lanjut.
Lagi pula, bukan kebetulan bahwa raksasa teknologi dengan jutaan pengguna adalah nama besar dalam kecerdasan buatan.
Dalam minggu terakhir saja, Meta merilis versi terbaru LLM Llama 2, Google meluncurkan fitur-fitur baru untuk Bard, dan ada laporan bahwa Apple sedang bersiap untuk ikut campur.
Apakah didorong oleh keracunan data, tanda-tanda awal kerusakan model, atau faktor lainnya, ancaman penurunan kinerja tidak dapat diabaikan oleh pengembang chatbot.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Degradasi kinerja chatbot: Tantangan data mengancam untuk menghasilkan masa depan kecerdasan buatan
Artikel ini secara singkat:
Penelitian telah menunjukkan bahwa kinerja chatbot seperti ChatGPT dapat menurun seiring waktu karena penurunan kualitas data pelatihan.
· Model pembelajaran mesin rentan terhadap keracunan data dan kerusakan model, yang secara signifikan dapat mengurangi kualitas keluarannya.
Sumber konten yang andal sangat penting untuk mencegah penurunan kinerja chatbot, menciptakan tantangan bagi pengembang AI di masa mendatang.
Chatbot modern terus belajar dan perilakunya selalu berubah, tetapi kinerjanya dapat menurun atau meningkat.
Penelitian terbaru membalikkan asumsi bahwa "belajar selalu berarti kemajuan", yang berimplikasi pada masa depan ChatGPT dan rekan-rekannya. Agar chatbot tetap aktif dan berjalan, pengembang kecerdasan buatan (AI) harus mengatasi tantangan data yang muncul.
ChatGPT semakin bodoh dari waktu ke waktu
Sebuah studi yang baru-baru ini diterbitkan menunjukkan bahwa chatbots mungkin kurang mampu melakukan tugas tertentu dari waktu ke waktu.
Untuk mencapai kesimpulan ini, para peneliti membandingkan keluaran model bahasa besar (LLM) GPT-3.5 dan GPT-4 pada bulan Maret dan Juni 2023. Hanya dalam tiga bulan, mereka mengamati perubahan dramatis pada model yang mendukung ChatGPT.
Misalnya, pada bulan Maret tahun ini, GPT-4 mampu mengidentifikasi bilangan prima dengan akurasi 97,6%. Pada bulan Juni, akurasinya anjlok menjadi 2,4 persen.
Jawaban GPT-4 (kiri) dan GPT-3.5 (kanan) untuk pertanyaan yang sama di bulan Maret dan Juni (sumber: arXiv)
Eksperimen tersebut juga menilai kecepatan model dalam menjawab pertanyaan sensitif, kemampuannya menghasilkan kode, dan kemampuannya bernalar secara visual. Di semua keterampilan yang mereka uji, tim mengamati bahwa kualitas keluaran AI menurun seiring waktu.
Tantangan dengan data pelatihan real-time
Pembelajaran mesin (ML) bergantung pada proses pelatihan di mana model AI dapat meniru kecerdasan manusia dengan memproses informasi dalam jumlah besar.
Misalnya, pengembangan LLM yang mendukung chatbot modern telah diuntungkan dengan tersedianya sejumlah besar repositori online. Ini termasuk kumpulan data yang dikompilasi dari artikel Wikipedia, memungkinkan chatbot untuk belajar dengan mencerna kumpulan pengetahuan manusia terbesar yang pernah dibuat.
Tapi sekarang, alat seperti ChatGPT dirilis secara luas. Pengembang memiliki kontrol yang jauh lebih sedikit atas data pelatihan mereka yang selalu berubah.
Masalahnya, model seperti itu juga bisa "belajar" memberikan jawaban yang salah. Jika kualitas data pelatihan menurun, keluarannya juga akan menurun. Ini menimbulkan tantangan bagi chatbots dinamis, yang membutuhkan aliran konten web scraped yang stabil.
Keracunan data dapat menyebabkan penurunan kinerja chatbot
Karena chatbot cenderung mengandalkan konten yang diambil dari web, mereka sangat rentan terhadap jenis manipulasi yang dikenal sebagai keracunan data.
Itulah yang terjadi pada bot Twitter Microsoft Tay pada tahun 2016. Kurang dari 24 jam setelah diluncurkan, pendahulu ChatGPT mulai memposting tweet yang menghasut dan menyinggung. Pengembang Microsoft dengan cepat menghentikannya dan memulai kembali.
Ternyata, troll dunia maya melakukan spam pada bot sejak awal, memanipulasi kemampuannya untuk belajar dari interaksinya dengan publik. Setelah dilecehkan oleh tentara 4channer, tidak mengherankan jika Tay mulai menirukan ujaran kebencian mereka.
Seperti Tay, chatbot kontemporer adalah produk dari lingkungannya dan rentan terhadap serangan serupa. Bahkan Wikipedia, yang sangat penting dalam pengembangan LLM, dapat digunakan untuk meracuni data pelatihan pembelajaran mesin.
Namun, data yang sengaja dirusak bukan satu-satunya sumber informasi yang salah yang harus diwaspadai oleh pengembang chatbot.
** Model Crash: Bom Waktu untuk Chatbots? **
Dengan semakin populernya alat AI, konten yang dihasilkan AI juga berkembang biak. Tapi apa yang terjadi pada LL.M.s yang terlatih dalam kumpulan data pengikisan web jika semakin banyak konten yang dibuat oleh pembelajaran mesin itu sendiri?
Pertanyaan ini dieksplorasi dalam survei terbaru tentang dampak rekursi pada model pembelajaran mesin. Jawaban yang ditemukan memiliki implikasi besar bagi masa depan kecerdasan buatan generatif.
Para peneliti menemukan bahwa ketika materi yang dihasilkan AI digunakan sebagai data pelatihan, model pembelajaran mesin mulai melupakan apa yang telah mereka pelajari sebelumnya.
Mereka menciptakan istilah "keruntuhan model", mencatat bahwa keluarga AI yang berbeda semuanya cenderung merosot ketika terpapar konten buatan manusia.
Dalam satu percobaan, tim membuat lingkaran umpan balik antara model pembelajaran mesin penghasil gambar dan keluarannya.
Setelah pengamatan, mereka menemukan bahwa setelah setiap iterasi, model tersebut memperkuat kesalahannya sendiri dan mulai melupakan data yang awalnya dibuat oleh manusia. Setelah 20 loop, hasilnya hampir mirip dengan dataset asli.
Keluaran model ML pembuatan gambar (sumber: arXiv)
Para peneliti mengamati tren degradasi yang sama saat melakukan skenario serupa dengan LL.M. Selain itu, dengan setiap iterasi, kesalahan seperti frasa berulang dan ucapan terputus-putus lebih sering terjadi.
Oleh karena itu, penelitian ini berspekulasi bahwa generasi ChatGPT di masa mendatang mungkin berisiko mengalami keruntuhan model. Jika AI menghasilkan lebih banyak konten online, kinerja chatbots dan model pembelajaran mesin generatif lainnya dapat memburuk.
Konten andal yang Anda perlukan untuk mencegah penurunan kinerja chatbot
Ke depan, sumber konten yang andal akan menjadi semakin penting untuk mencegah efek penurunan kualitas data yang rendah. Perusahaan yang mengontrol akses ke apa yang dibutuhkan untuk melatih model pembelajaran mesin memegang kunci untuk inovasi lebih lanjut.
Lagi pula, bukan kebetulan bahwa raksasa teknologi dengan jutaan pengguna adalah nama besar dalam kecerdasan buatan.
Dalam minggu terakhir saja, Meta merilis versi terbaru LLM Llama 2, Google meluncurkan fitur-fitur baru untuk Bard, dan ada laporan bahwa Apple sedang bersiap untuk ikut campur.
Apakah didorong oleh keracunan data, tanda-tanda awal kerusakan model, atau faktor lainnya, ancaman penurunan kinerja tidak dapat diabaikan oleh pengembang chatbot.