Ilustrasi: ProStockStudio (Shutterstock)
Bot obrolan AI ChatGPT dapat melakukan banyak hal. Itu dapat menanggapi tweet, menulis fiksi ilmiah, merencanakan Natal keluarga reporter ini, dan bahkan dijadwalkan untuk bertindak sebagai pengacara di pengadilan. Tapi bisakah robot memberikan dukungan kesehatan mental yang aman dan efektif? Sebuah perusahaan bernama Koko memutuskan untuk mencari tahu menggunakan AI untuk membantu menyusun dukungan kesehatan mental bagi sekitar 4.000 penggunanya pada bulan Oktober. Pengguna—Twitter, bukan Koko—tidak senang dengan hasilnya dan dengan fakta bahwa eksperimen itu benar-benar terjadi.
“Terus terang, ini akan menjadi masa depan. Kami akan berpikir kami sedang berinteraksi dengan manusia dan tidak tahu apakah ada AI yang terlibat. Bagaimana hal itu memengaruhi komunikasi manusia-ke-manusia? Saya memiliki tantangan kesehatan mental saya sendiri, jadi saya benar-benar ingin melihat ini dilakukan dengan benar, ”kata salah satu pendiri Koko, Rob Morris, kepada Gizmodo dalam sebuah wawancara.
Morris mengatakan kerfuffle itu semua salah paham.
“Saya seharusnya tidak mencoba mendiskusikannya di Twitter,” katanya.
Koko adalah layanan kesehatan mental peer-to-peer yang memungkinkan orang meminta nasihat dan dukungan dari pengguna lain. Dalam percobaan singkat, perusahaan memungkinkan pengguna menghasilkan tanggapan otomatis menggunakan “Koko Bot”—didukung oleh GPT-3 OpenAI—yang kemudian dapat diedit, dikirim, atau ditolak. Menurut Morris, 30.000 pesan berbantuan AI yang dikirim selama pengujian menerima tanggapan yang sangat positif, tetapi perusahaan menghentikan percobaan setelah beberapa hari karena “terasa steril”.
“Saat Anda berinteraksi dengan GPT-3, Anda dapat mulai memahami beberapa informasi. Semuanya ditulis dengan sangat baik, tetapi itu semacam formula, dan Anda dapat membacanya dan menyadari bahwa itu semua murni bot dan tidak ada nuansa manusia yang ditambahkan, ”kata Morris kepada Gizmodo. “Ada sesuatu tentang keaslian yang hilang ketika Anda memiliki alat ini sebagai alat pendukung untuk membantu tulisan Anda, terutama dalam konteks semacam ini. Di platform kami, pesan-pesan itu terasa lebih baik dalam beberapa hal ketika saya bisa merasakannya lebih banyak ditulis oleh manusia.
Morris memposting utas ke Twitter tentang tes yang menyiratkan bahwa pengguna tidak memahami bahwa AI terlibat dalam perawatan mereka. Dia tweeted bahwa “setelah orang mengetahui bahwa pesan dibuat bersama oleh mesin, itu tidak berhasil.” Tweet tersebut membuat heboh di Twitter tentang etika penelitian Koko.
G/O Media dapat memperoleh komisi
Pre-order diskon $50
Cincin Mobil Cam
Ini kamera. Untuk mobil Anda.
Kamera HD dual-facing Ring Car Cam menangkap aktivitas di dalam dan sekitar mobil Anda dalam detail HD.
“Pesan yang dibuat oleh AI (dan diawasi oleh manusia) dinilai secara signifikan lebih tinggi daripada yang ditulis oleh manusia sendiri,” cuit Morris. “Waktu respons turun 50%, menjadi kurang dari satu menit.”
Morris mengatakan kata-kata ini menyebabkan kesalahpahaman: “orang” dalam konteks ini adalah dirinya dan timnya, bukan pengguna tanpa disadari. Pengguna Koko tahu pesan itu ditulis bersama oleh bot, dan mereka tidak mengobrol langsung dengan AI, katanya.
“Itu dijelaskan selama proses on-boarding,” kata Morris. Saat AI terlibat, tanggapannya termasuk penafian bahwa pesan itu “ditulis bekerja sama dengan Koko Bot,” tambahnya.
Namun, eksperimen tersebut menimbulkan pertanyaan etis, termasuk keraguan tentang seberapa baik Koko memberi tahu pengguna, dan risiko menguji teknologi yang belum terbukti dalam pengaturan perawatan kesehatan langsung, bahkan yang peer-to-peer.
Dalam konteks akademik atau medis, adalah ilegal untuk menjalankan eksperimen ilmiah atau medis pada subjek manusia tanpa persetujuan mereka, yang mencakup memberikan detail lengkap kepada subjek uji tentang potensi bahaya dan manfaat dari berpartisipasi. Food and Drug Administration mewajibkan dokter dan ilmuwan untuk menjalankan studi melalui Institutional Review Board (IRB) yang dimaksudkan untuk memastikan keamanan sebelum tes dimulai.
Tetapi ledakan layanan kesehatan mental online yang disediakan oleh perusahaan swasta telah menciptakan wilayah abu-abu hukum dan etika. Di perusahaan swasta yang menyediakan dukungan kesehatan mental di luar pengaturan medis formal, pada dasarnya Anda dapat melakukan apa pun yang Anda inginkan kepada pelanggan Anda. Eksperimen Koko tidak memerlukan atau menerima persetujuan IRB.
“Dari sudut pandang etis, setiap kali Anda menggunakan teknologi di luar apa yang dapat dianggap sebagai standar perawatan, Anda harus sangat berhati-hati dan mengungkapkan secara berlebihan apa yang Anda lakukan,” kata John Torous, MD, direktur divisi tersebut. psikiatri digital di Beth Israel Deaconess Medical Center di Boston. “Orang yang mencari dukungan kesehatan mental berada dalam kondisi rentan, terutama saat mereka mencari layanan darurat atau layanan sebaya. Ini adalah populasi yang tidak ingin kami lalai dalam melindunginya.”
Torous mengatakan bahwa dukungan kesehatan mental teman sebaya bisa sangat efektif ketika orang menjalani pelatihan yang sesuai. Sistem seperti Koko mengambil pendekatan baru untuk perawatan kesehatan mental yang dapat memberikan manfaat nyata, tetapi pengguna tidak mendapatkan pelatihan itu, dan layanan ini pada dasarnya belum teruji, kata Torous. Begitu AI terlibat, masalahnya semakin besar.
“Saat Anda berbicara dengan ChatGPT, ini memberi tahu Anda ‘tolong jangan gunakan ini untuk nasihat medis.’ Itu tidak diuji untuk digunakan dalam perawatan kesehatan, dan itu jelas dapat memberikan saran yang tidak tepat atau tidak efektif,” kata Torous.
Norma dan peraturan seputar penelitian akademik tidak hanya memastikan keamanan. Mereka juga menetapkan standar untuk berbagi data dan komunikasi, yang memungkinkan eksperimen untuk membangun satu sama lain, menciptakan kumpulan pengetahuan yang terus berkembang. Torous mengatakan bahwa dalam industri kesehatan mental digital, standar tersebut seringkali diabaikan. Eksperimen yang gagal cenderung tidak dipublikasikan, dan perusahaan dapat berhati-hati dalam penelitian mereka. Sayang sekali, kata Torous, karena banyak intervensi yang dijalankan oleh perusahaan aplikasi kesehatan mental dapat membantu.
Morris mengakui bahwa beroperasi di luar proses tinjauan eksperimental formal IRB melibatkan pengorbanan. “Apakah pekerjaan semacam ini, di luar akademisi, harus melalui proses IRB adalah pertanyaan penting dan saya seharusnya tidak mencoba membahasnya di Twitter,” kata Morris. “Ini harus menjadi diskusi yang lebih luas dalam industri dan salah satu yang kami ingin menjadi bagian darinya.”
Kontroversi itu ironis, kata Morris, karena dia mengatakan dia menggunakan Twitter pada awalnya karena dia ingin setransparan mungkin. “Kami benar-benar berusaha untuk terbuka dengan teknologi dan mengungkapkannya untuk membantu orang berpikir lebih hati-hati tentangnya,” katanya.