Dalam kasus AI, janji terletak pada kemampuan untuk mendeskripsikan data yang manusia belum tahu bagaimana mendeskripsikannya dengan model 'intuitif', namun yang berbahaya, kumpulan data yang digunakan untuk melatihnya menyertakan bias kita sendiri.
Ketika kumpulan data bias terhadap wajah Black dan Brown misalnya, berisiko mengalami diskriminasi yang mencegah orang menggunakan layanan, yang mengintensifkan aparat pengawasan, yang membahayakan kebebasan manusia.
Sangat penting bagi kita untuk mempertimbangkan dan mengatasi konsekuensi ini sebelum kita membahayakan kehidupan orang dengan penelitian kita.
Nord mengatakan itu dengan artikel Bias Mesin dari ProPublica pada tahun 2016, di mana mereka membahas residivisme dan prosedur hukuman di pengadilan.
Pada saat artikel itu dibuat, ada algoritma sumber tertutup yang digunakan untuk membuat rekomendasi untuk menjatuhkan hukuman, dan hakim diizinkan untuk menggunakannya.
Baca Juga: Inilah 3 Laptop Terbaik Tahun 2021, Tampilan Elegan dengan Performa Fantastis
Tidak ada pengawasan publik atas algoritme ini, yang menurut ProPublica bias terhadap orang kulit hitam. Orang dapat menggunakan algoritma seperti ini mau tidak mau tanpa akuntabilitas.
"Saya menyadari bahwa sebagai orang kulit hitam, saya telah menghabiskan beberapa tahun terakhir untuk bersemangat tentang jaringan saraf, kemudian melihat dengan jelas bahwa aplikasi yang dapat membahayakan saya ini sudah ada di luar sana, sudah digunakan, dan kami sudah mulai menjadi tertanam dalam struktur sosial kita melalui sistem peradilan pidana", kata Nord.
Ia menyadari negara-negara di seluruh dunia menggunakan teknologi pengawasan, menggabungkan algoritma pembelajaran mesin, untuk penggunaan yang menindas secara luas.