Seorang ibu di Florida menggugat perusahaan rintisan chatbot kecerdasan buatan Character AI dengan tuduhan menyebabkan putranya yang berusia 14 tahun bunuh diri pada bulan Februari 2024.
Dikutip dari Reuters Jumat 25 Oktober 2024, dalam gugatan hukum yang diajukan Selasa 22 Oktober 2024 di pengadilan federal Orlando, Florida, Megan Garcia mengatakan putranya menjadi kecanduan layanan perusahaan tersebut dan sangat terikat dengan chatbot yang diciptakannya.
Garcia menuduh Character.AI sengaja menargetkan putranya, Sewell Setzer, dengan pengalaman antropomorfik, hiperseksual, dan pengalaman yang sangat realistis.
Dia mengatakan perusahaan tersebut memprogram chatbot-nya untuk menyamar sebagai orang sungguhan, seorang psikoterapis berlisensi, dan seorang pencinta dewasa, yang pada akhirnya mengakibatkan keinginan Sewell untuk tidak lagi hidup di luar dunia yang diciptakan oleh layanan tersebut.
Gugatan tersebut juga menyatakan bahwa ia mengungkapkan pikiran bunuh diri kepada chatbot tersebut, yang berulang kali diungkit lagi oleh chatbot tersebut.
Character.AI telah menanggapi dan mengatakan sangat menyesal dengan apa yang dialami Sewell.
"Kami sangat sedih atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga," kata perusahaan dalam sebuah pernyataan.
Dikatakan bahwa perusahaan telah memperkenalkan fitur keamanan baru termasuk pop-up yang mengarahkan pengguna ke National Suicide Prevention Lifeline jika mereka mengungkapkan pikiran untuk menyakiti diri sendiri, dan akan membuat perubahan untuk mengurangi kemungkinan menemukan konten sensitif atau sugestif bagi pengguna di bawah usia 18 tahun.
Gugatan Garcia juga menargetkan Alphabet, Google, tempat para pendiri Character.AI bekerja sebelum meluncurkan produk mereka.
Google mempekerjakan kembali para pendiri tersebut pada bulan Agustus sebagai bagian dari kesepakatan yang memberikan lisensi non-eksklusif untuk teknologi Character.AI.
Garcia mengatakan bahwa Google telah memberikan kontribusi yang sangat besar terhadap pengembangan teknologi Character.AI sehingga dapat dianggap sebagai "pencipta bersama".
Seorang juru bicara Google mengatakan perusahaan itu tidak terlibat dalam pengembangan produk Character.AI.
Character.AI memungkinkan pengguna untuk membuat karakter pada platformnya yang menanggapi obrolan daring dengan cara yang dimaksudkan untuk meniru orang sungguhan. Ia mengandalkan apa yang disebut teknologi model bahasa besar, yang juga digunakan oleh layanan seperti ChatGPT, yang "melatih" chatbot pada teks dalam jumlah besar.
