Sintesis suara AI semakin canggih, yang juga berarti semakin terbuka untuk disalahgunakan.Grafik: ArtemisDiana (Shutterstock)
Siapa yang mungkin melihat ini datang? Generator gambar AI telah digunakan untuk membuat pornografi selebritas non-konsensual, tetapi mengapa basis pengguna yang sama berani menyalahgunakan generator suara deepfake text-to-speech AI gratis?
ElevenLabs yang berbasis di Inggris pertama kali menggembar-gemborkan AI Suara Utama awal bulan ini, tetapi hanya beberapa minggu kemudian mungkin perlu memikirkan kembali seluruh modelnya setelah pengguna melaporkan banyak pengguna yang membuat pesan kebencian menggunakan suara dunia nyata. Perusahaan ini merilis sistem beta terbuka text-to-voice pertama pada 23 Januari. Pengembang menjanjikan suara yang cocok dengan gaya dan irama manusia yang sebenarnya. Fitur “Lab Suara” perusahaan memungkinkan pengguna mengkloning suara dari sampel audio kecil.
Motherboard pertama kali melaporkan hari Senin tentang banyak pengguna 4Chan yang mengunggah suara selebritas atau tokoh internet yang dipalsukan, dari Joe Rogan hingga Robin Williams. Seorang pengguna 4Chan dilaporkan memposting klip Emma Watson membaca bagian dari Mein Kampf. Pengguna lain mengambil suara yang dilaporkan terdengar seperti Rick Sanchez dari Justin Roiland dari Rick & Morty berbicara tentang bagaimana dia akan memukuli istrinya, referensi yang jelas untuk tuduhan kekerasan dalam rumah tangga saat ini terhadap rekan pembuat serial tersebut.
Di salah satu utas 4Chan yang ditinjau oleh Gizmodo, pengguna memposting klip AI yang menyemburkan kebencian terhadap wanita atau transfobia yang intens menggunakan suara karakter atau narator dari berbagai anime atau video game. Semua ini untuk mengatakan, itu persis apa yang Anda harapkan ketiak internet lakukan setelah mendapatkan teknologi deepfake yang mudah digunakan.
Pada hari Senin, perusahaan men-tweet bahwa mereka mengalami “akhir pekan yang gila” dan mencatat sementara teknologi mereka “diterapkan secara berlebihan untuk penggunaan positif”, pengembang melihat “peningkatan jumlah kasus penyalahgunaan kloning suara”, tetapi tidak menyebutkan platform tertentu. atau platform tempat penyalahgunaan terjadi.
G/O Media dapat memperoleh komisi
ElevenLabs menawarkan beberapa ide tentang cara membatasi kerugian, termasuk memperkenalkan beberapa verifikasi akun, yang dapat mencakup pembayaran di muka, atau bahkan menghentikan versi gratis dari lab suara sama sekali, yang kemudian berarti memverifikasi setiap permintaan kloning secara manual.
Pekan lalu, ElevenLabs mengumumkan telah menerima $2 juta dalam pendanaan awal yang dipimpin oleh Credo Ventures yang berbasis di Republik Ceko. Perusahaan AI kecil yang bisa merencanakan untuk meningkatkan operasinya dan menggunakan sistem dalam bahasa lain juga, menurut pitch deck-nya. Penyalahgunaan yang diakui ini adalah giliran bagi pengembang yang sangat bersemangat tentang ke mana teknologi itu bisa pergi. Perusahaan menghabiskan seminggu terakhir untuk mempromosikan teknologinya, dengan mengatakan bahwa sistemnya dapat mereproduksi kepribadian TV Polandia. Perusahaan selanjutnya mempromosikan gagasan untuk mengeluarkan narator buku audio manusia dari pekerjaannya. Situs web beta membahas bagaimana sistem dapat mengotomatiskan audio untuk artikel berita, atau bahkan membuat audio untuk video game.
Sistemnya pasti bisa meniru suara dengan cukup baik, hanya berdasarkan suara yang diulas oleh Gizmodo. Orang awam mungkin tidak dapat membedakan antara klip palsu Rogan yang berbicara tentang kebiasaan porno versus klip sebenarnya dari podcastnya. Tetap saja, pasti ada kualitas robot pada suara yang menjadi lebih jelas pada klip yang lebih panjang.
Gizmodo menghubungi ElevenLabs untuk memberikan komentar melalui Twitter, tetapi kami tidak segera mendengarnya kembali. Kami akan memperbarui cerita ini jika kami mendengar lebih banyak.
Ada banyak perusahaan lain yang menawarkan alat teks-ke-suara mereka sendiri, tetapi sementara sistem VALL-E Microsoft yang serupa masih belum dirilis, perusahaan kecil lainnya tidak terlalu ragu untuk membuka pintu bagi siapa pun untuk menyalahgunakan. Pakar AI telah memberi tahu Gizmodo bahwa dorongan untuk menyelesaikan masalah tanpa tinjauan etika akan terus mengarah pada masalah seperti ini.