Penyalahgunaan Grok AI untuk membuat dan menyebarkan konten pornografi menggunakan foto atau video orang nyata tanpa izin merupakan pelanggaran serius terhadap martabat manusia, hak privasi, dan pelindungan data pribadi.
Menurut Anggota Komisi I DPR RI, Amelia Anggraini, praktik manipulasi wajah, foto, atau identitas visual seseorang ke dalam konten asusila tanpa consent tidak bisa dipandang sekadar persoalan kesusilaan.
Tindakan tersebut telah masuk kategori kekerasan berbasis teknologi yang berpotensi menimbulkan kerugian psikologis, sosial, hingga reputasional bagi korban.
“Ketika identitas visual seseorang dimanipulasi tanpa izin untuk konten asusila, itu merupakan bentuk perampasan hak individu atas citra dirinya” kata Amelia, Jumat, 9 Januari 2026.
Kementerian Komunikasi dan Digital sendri menyebutkan bahwa hasil penelusuran awal menunjukkan Grok AI belum memiliki pengaturan yang eksplisit dan memadai untuk mencegah produksi serta distribusi pornografi berbasis foto nyata. Menurutnya, temuan ini harus menjadi perhatian serius pemerintah.
Amelia meminta Kemkomdigi bersikap proaktif dan tidak menunggu hingga kasus serupa menjadi viral. Negara wajib hadir melindungi warga di ruang digital melalui kebijakan yang tegas, terukur, dan dapat diawasi publik.
Dalam perspektif Undang-Undang Pelindungan Data Pribadi (PDP), Amelia menegaskan bahwa foto, wajah, dan video merupakan bagian dari data pribadi yang tidak boleh diproses secara serampangan.
Ia mendorong Kemkomdigi untuk menagih kepatuhan platform digital dan penyedia layanan kecerdasan buatan dengan standar yang jelas dan dapat diuji.
“Pemrosesan identitas visual untuk konten seksual tanpa dasar hukum yang sah harus diperlakukan sebagai pelanggaran serius. Selain itu, negara juga harus memastikan adanya respons cepat bagi korban melalui kanal pelaporan yang efektif, mekanisme takedown cepat, serta pencegahan unggah ulang,” ujarnya.
Amelia juga mendorong penguatan standar kepatuhan Penyelenggara Sistem Elektronik (PSE), termasuk platform X dan penyedia layanan AI. Standar tersebut harus mencakup pencegahan sejak desain sistem (prevention by design) terhadap permintaan seksual berbasis orang nyata, serta sistem moderasi konten yang transparan dan dapat diaudit.
Terkait penegakan hukum, Amelia menekankan bahwa langkah administratif harus berjalan seiring dengan ketentuan pidana. Ia mengingatkan bahwa KUHP telah berlaku sejak 2 Januari 2026, dengan ketentuan terkait pornografi yang diatur antara lain dalam Pasal 172 dan Pasal 407.
“Ini menegaskan bahwa ruang digital bukan ruang tanpa hukum,” katanya.
Sebagai bagian dari fungsi pengawasan DPR, Amelia menegaskan Komisi I DPR RI akan mengawal penanganan kasus penyalahgunaan AI agar menghasilkan perlindungan nyata bagi korban serta kepatuhan tegas dari platform digital.
Ia menekankan pentingnya kejelasan penanggung jawab, indikator kepatuhan, tenggat waktu, dan konsekuensi bagi pelanggaran.
“Jika platform AI lain bisa memasang pagar pengaman dan pembatasan yang jelas, maka tidak ada alasan Grok AI tidak melakukan hal yang sama,” pungkasnya.
