Algoritma pelacakan kepala penulis tahun 1998 menggunakan warna kulit untuk membedakan wajah dari latar belakang gambar.
Foto: Sumber: John MacCormick, CC BY-ND
Mungkin Skrip yang Ditulis AI adalah Ide Buruk?
Pada tahun 1998, saya secara tidak sengaja membuat algoritme kecerdasan buatan yang bias rasial. Ada pelajaran dalam cerita itu yang beresonansi lebih kuat hari ini.
Bahaya bias dan kesalahan dalam algoritme AI sekarang sudah diketahui dengan baik. Lalu, mengapa terjadi banyak kesalahan oleh perusahaan teknologi dalam beberapa bulan terakhir, terutama di dunia AI chatbots dan pembuat gambar? Versi awal ChatGPT menghasilkan keluaran rasis. Generator gambar DALL-E 2 dan Stable Diffusion keduanya menunjukkan bias rasial dalam gambar yang mereka buat.
Pencerahan saya sendiri sebagai ilmuwan komputer pria kulit putih terjadi saat mengajar kelas ilmu komputer pada tahun 2021. Kelas tersebut baru saja melihat puisi video oleh Joy Buolamwini, peneliti dan seniman AI dan penyair kode yang menggambarkan dirinya sendiri. Puisi videonya tahun 2019 “AI, Ain’t I a Woman?” adalah pemaparan bias rasial dan gender selama tiga menit yang menghancurkan dalam sistem pengenalan wajah otomatis – sistem yang dikembangkan oleh perusahaan teknologi seperti Google dan Microsoft.
Sistem sering kali gagal pada wanita kulit berwarna, salah menyebut mereka sebagai pria. Beberapa kegagalan sangat mengerikan: Rambut pemimpin hak-hak sipil kulit hitam Ida B. Wells diberi label sebagai “topi coonskin”; wanita kulit hitam lainnya dicap memiliki “kumis walrus”.
Bergema selama bertahun-tahun
Saya mengalami momen déjà vu yang mengerikan di kelas ilmu komputer itu: tiba-tiba saya ingat bahwa saya juga pernah membuat algoritme yang bias rasial. Pada tahun 1998, saya adalah seorang mahasiswa doktoral. Proyek saya melibatkan pelacakan pergerakan kepala seseorang berdasarkan masukan dari kamera video. Penasihat doktoral saya telah mengembangkan teknik matematika untuk mengikuti kepala secara akurat dalam situasi tertentu, tetapi sistemnya harus lebih cepat dan lebih kuat. Sebelumnya pada tahun 1990-an, para peneliti di laboratorium lain telah menunjukkan bahwa area gambar berwarna kulit dapat diekstraksi secara real time. Jadi kami memutuskan untuk fokus pada warna kulit sebagai isyarat tambahan untuk pelacak.
Saya menggunakan kamera digital – yang masih langka saat itu – untuk mengambil beberapa bidikan tangan dan wajah saya sendiri, dan saya juga menjepret tangan dan wajah dua atau tiga orang lainnya yang kebetulan berada di gedung tersebut. Sangat mudah untuk mengekstrak secara manual beberapa piksel berwarna kulit dari gambar-gambar ini dan membuat model statistik untuk warna kulit. Setelah beberapa penyesuaian dan debugging, kami memiliki sistem pelacakan kepala real-time yang sangat kuat.
Tidak lama kemudian, penasihat saya meminta saya untuk mendemonstrasikan sistem tersebut kepada beberapa eksekutif perusahaan yang sedang berkunjung. Ketika mereka masuk ke ruangan, saya langsung dibanjiri kecemasan: para eksekutifnya orang Jepang. Dalam percobaan kasual saya untuk melihat apakah model statistik sederhana akan bekerja dengan prototipe kami, saya telah mengumpulkan data dari saya sendiri dan beberapa orang lain yang kebetulan berada di dalam gedung. Tapi 100% dari subjek ini memiliki kulit “putih”; eksekutif Jepang tidak.
Ajaibnya, sistem itu bekerja dengan cukup baik pada para eksekutif. Namun saya terkejut dengan kesadaran bahwa saya telah menciptakan sistem bias rasial yang dapat dengan mudah gagal bagi orang nonkulit putih lainnya.
Keistimewaan dan prioritas
Bagaimana dan mengapa ilmuwan yang terdidik dan bermaksud baik menghasilkan sistem AI yang bias? Teori sosiologis tentang keistimewaan memberikan satu lensa yang berguna.
Sepuluh tahun sebelum saya membuat sistem pelacakan kepala, cendekiawan Peggy McIntosh mengusulkan gagasan tentang “ransel tak terlihat” yang dibawa berkeliling oleh orang kulit putih. Di dalam ransel adalah harta karun hak istimewa seperti “Saya dapat melakukannya dengan baik dalam situasi yang menantang tanpa disebut penghargaan atas ras saya,” dan “Saya dapat mengkritik pemerintah kita dan berbicara tentang betapa saya takut akan kebijakan dan perilakunya tanpa menjadi dipandang sebagai orang luar budaya.”
Di zaman AI, ransel itu membutuhkan beberapa item baru, seperti “sistem AI tidak akan memberikan hasil yang buruk karena ras saya”. Ransel tak kasat mata seorang ilmuwan kulit putih juga akan membutuhkan: “Saya dapat mengembangkan sistem AI berdasarkan penampilan saya sendiri, dan mengetahui bahwa itu akan bekerja dengan baik untuk sebagian besar pengguna saya.”
Puisi video periset AI dan artis Joy Buolamwini ‘AI, Ain’t I a Woman?’
Salah satu solusi yang disarankan untuk hak istimewa kulit putih adalah menjadi anti-rasis secara aktif. Untuk sistem pelacakan kepala tahun 1998, mungkin tampak jelas bahwa obat anti-rasis adalah memperlakukan semua warna kulit secara setara. Tentu saja, kita dapat dan harus memastikan bahwa data pelatihan sistem merepresentasikan rentang semua warna kulit secara setara.
Sayangnya, hal ini tidak menjamin bahwa semua warna kulit yang diamati oleh sistem akan diperlakukan sama. Sistem harus mengklasifikasikan setiap kemungkinan warna sebagai kulit atau bukan kulit. Oleh karena itu, terdapat warna tepat di batas antara kulit dan bukan kulit – sebuah wilayah yang oleh para ilmuwan komputer disebut sebagai batas keputusan. Seseorang yang warna kulitnya melewati batas keputusan ini akan diklasifikasikan secara tidak benar.
Ilmuwan juga menghadapi dilema bawah sadar yang buruk saat memasukkan keragaman ke dalam model pembelajaran mesin: Model yang beragam dan inklusif berperforma lebih buruk daripada model yang sempit.
Sebuah analogi sederhana dapat menjelaskan hal ini. Bayangkan Anda diberi pilihan antara dua tugas. Tugas A adalah mengidentifikasi satu jenis pohon tertentu – katakanlah, pohon elm. Tugas B adalah mengidentifikasi lima jenis pohon: elm, abu, belalang, beech, dan kenari. Sudah jelas bahwa jika Anda diberi waktu tetap untuk berlatih, Anda akan tampil lebih baik di Tugas A daripada Tugas B.
Dengan cara yang sama, algoritme yang hanya melacak kulit putih akan lebih akurat daripada algoritme yang melacak seluruh warna kulit manusia. Bahkan jika mereka sadar akan perlunya keragaman dan keadilan, para ilmuwan dapat secara tidak sadar dipengaruhi oleh kebutuhan akan akurasi yang saling bersaing ini.
Tersembunyi dalam angka
Kreasi saya tentang algoritme yang bias tidak dipikirkan dan berpotensi menyinggung. Yang lebih memprihatinkan, insiden ini menunjukkan bagaimana bias dapat tetap tersembunyi jauh di dalam sistem AI. Untuk mengetahui alasannya, pertimbangkan kumpulan 12 angka tertentu dalam matriks tiga baris dan empat kolom. Apakah mereka tampak rasis? Algoritme pelacakan kepala yang saya kembangkan pada tahun 1998 dikendalikan oleh matriks seperti ini, yang menggambarkan model warna kulit. Tetapi tidak mungkin untuk mengetahui dari angka-angka ini saja bahwa ini sebenarnya adalah matriks rasis. Itu hanyalah angka, ditentukan secara otomatis oleh program komputer.
Matriks ini adalah inti dari model warna kulit tahun 1998 penulis. Dapatkah Anda menemukan rasisme? Gambar: John MacCormick, CC BY-ND
Masalah bias yang bersembunyi di depan mata jauh lebih parah dalam sistem pembelajaran mesin modern. Deep neural network – saat ini jenis model AI yang paling populer dan kuat – sering kali memiliki jutaan angka di mana bias dapat dikodekan. Sistem pengenalan wajah yang bias dikritik dalam “AI, Ain’t I a Woman?” semuanya adalah jaringan saraf yang dalam.
Kabar baiknya adalah banyak kemajuan dalam keadilan AI telah dibuat, baik di dunia akademis maupun di industri. Microsoft, misalnya, memiliki grup riset yang dikenal sebagai FATE, yang dikhususkan untuk Keadilan, Akuntabilitas, Transparansi, dan Etika dalam AI. Konferensi pembelajaran mesin terkemuka, NeurIPS, memiliki pedoman etika terperinci, termasuk daftar delapan poin dampak sosial negatif yang harus dipertimbangkan oleh peneliti yang mengirimkan makalah.
Siapa yang ada di ruangan adalah siapa yang ada di meja
Di sisi lain, bahkan di tahun 2023, keadilan masih bisa menjadi korban tekanan persaingan di dunia akademis dan industri. Obrolan Bard dan Bing yang cacat dari Google dan Microsoft adalah bukti terbaru dari kenyataan suram ini. Kebutuhan komersial untuk membangun pangsa pasar menyebabkan rilis prematur dari sistem ini.
Sistem mengalami masalah yang persis sama dengan pelacak kepala 1998 saya. Data pelatihan mereka bias. Mereka dirancang oleh kelompok yang tidak representatif. Mereka menghadapi ketidakmungkinan matematis untuk memperlakukan semua kategori secara setara. Entah bagaimana mereka harus memperdagangkan akurasi demi keadilan. Dan bias mereka bersembunyi di balik jutaan parameter numerik yang sulit dipahami.
Jadi, seberapa jauh bidang AI benar-benar berkembang sejak lebih dari 25 tahun yang lalu, seorang mahasiswa doktoral dapat merancang dan menerbitkan hasil algoritme yang bias rasial tanpa pengawasan atau konsekuensi yang jelas? Jelas bahwa sistem AI yang bias masih dapat dibuat secara tidak sengaja dan mudah. Jelas juga bahwa bias dalam sistem ini bisa berbahaya, sulit dideteksi, dan bahkan lebih sulit dihilangkan.
Hari-hari ini adalah klise untuk mengatakan industri dan akademisi membutuhkan beragam kelompok orang “dalam ruangan” yang merancang algoritme ini. Akan sangat membantu jika lapangan bisa mencapai titik itu. Namun kenyataannya, dengan program doktor ilmu komputer Amerika Utara yang hanya meluluskan sekitar 23% perempuan, dan 3% siswa Kulit Hitam dan Latin, akan terus ada banyak ruangan dan banyak algoritme di mana kelompok yang kurang terwakili tidak terwakili sama sekali.
Itulah mengapa pelajaran mendasar dari pelacak kepala tahun 1998 saya bahkan lebih penting saat ini: Mudah membuat kesalahan, bias mudah masuk tanpa terdeteksi, dan semua orang di ruangan bertanggung jawab untuk mencegahnya.
Ingin tahu lebih banyak tentang AI, chatbots, dan masa depan pembelajaran mesin? Lihat liputan lengkap kami tentang kecerdasan buatan, atau telusuri panduan kami ke Generator Seni AI Gratis Terbaik dan Semua yang Kami Ketahui Tentang ChatGPT OpenAI.
John MacCormick, Profesor Ilmu Komputer, Dickinson College
Artikel ini diterbitkan ulang dari The Conversation di bawah lisensi Creative Commons. Baca artikel aslinya.