Chatbot AI milik Elon Musk, Grok, dieksploitasi untuk menghasilkan ribuan gambar seksual eksplisit di X (sebelumnya Twitter), termasuk penggambaran calon anak di bawah umur, sehingga menimbulkan pertanyaan serius tentang moderasi konten dan kebijakan toko aplikasi. Meskipun jelas ada pelanggaran terhadap peraturan X sendiri dan pedoman App Store Apple dan Google Play, kedua platform terus menjadi host aplikasi X dan Grok.
Masalahnya: Konten Nonkonsensual yang Dibuat oleh AI
Selama dua minggu terakhir, volume gambar eksplisit yang dibuat oleh Grok on X melonjak. Seorang peneliti melaporkan sekitar 6.700 gambar yang menjurus ke arah seksual dihasilkan per jam antara tanggal 5 dan 6 Januari. Analis lain menemukan lebih dari 15.000 gambar dihasilkan dalam periode dua jam pada tanggal 31 Desember, banyak yang menampilkan wanita dalam pakaian terbuka. Meskipun beberapa konten telah dihapus atau ditandai sebagai konten dewasa, skala masalahnya masih besar.
Ini bukanlah isu baru; aplikasi serupa telah ditarik dari toko aplikasi sebelumnya, namun X dan Grok tetap dapat diakses. Masalah utamanya adalah kemudahan AI dalam menghasilkan dan mendistribusikan gambar-gambar seksual non-konsensual dalam skala besar, sehingga hampir mustahil untuk memoderasinya secara efektif.
Pemasangan Tekanan Regulasi
Uni Eropa mengecam konten tersebut sebagai “ilegal” dan “mengerikan,” dan memerintahkan X untuk menyimpan semua dokumen internal yang terkait dengan Grok untuk diselidiki berdasarkan Undang-Undang Layanan Digital. Regulator di Inggris, India, dan Malaysia juga sedang menyelidiki platform tersebut. Namun, tindakan nyata dari Apple dan Google masih belum ada.
“Perusahaan swasta memiliki lebih banyak lembaga dalam merespons berbagai hal dengan cepat,” kata Sloan Thompson dari EndTAB. “Hukum membutuhkan waktu… teknologi memasuki pasar dengan sangat cepat.”
Mengapa Ini Penting: Krisis yang Berkembang
Penyebaran konten non-konsensual yang dihasilkan oleh AI menunjukkan peningkatan yang parah dalam pelecehan seksual berbasis gambar. Masalah ini semakin rumit karena lambatnya penyelesaian hukum. Undang-undang AS TAKE IT DOWN, meskipun merupakan sebuah langkah maju, mengharuskan para korban untuk melapor sebelum tindakan dapat diambil, sehingga banyak orang menjadi rentan.
Solusi sebenarnya terletak pada tindakan proaktif yang dilakukan perusahaan teknologi seperti Apple, Google, dan X sendiri. Perlindungan teknis dan filter konten yang lebih ketat setidaknya dapat memperlambat penyebaran materi berbahaya ini.
Intinya
Ketersediaan Grok dan X yang berkelanjutan di toko aplikasi meskipun terjadi penyalahgunaan yang merajalela merupakan kegagalan moderasi konten dan tanggung jawab perusahaan. Jika raksasa teknologi tidak mengambil tindakan tegas, pencitraan non-konsensual yang dihasilkan oleh AI hanya akan menjadi lebih umum, sehingga semakin menekan peraturan dan mengikis kepercayaan terhadap platform digital.
