AI, Wajah, dan Kelas Sosial: Peluang & Bahaya di Dunia Finansial

Pada sebuah riset Universitas Toronto, responden bisa menebak apakah seseorang kaya atau dari kelas pekerja hanya dari foto wajah netral — dan 68% tebakannya benar. Tanpa senyum lebar, tanpa jam tangan mewah, tanpa latar rumah mewah. Hanya wajah polos hitam putih.

Ini terdengar seperti bahan obrolan santai, tapi buat saya, ini alarm keras. Kalau manusia saja spontan mengaitkan wajah dengan kelas sosial, bayangkan apa yang bisa (dan akan) dilakukan AI pengenal wajah kalau dibiarkan tanpa etika, apalagi di sektor sensitif seperti perbankan digital dan pariwisata.

Artikel ini membahas:

• Apa sebenarnya temuan riset soal wajah orang kaya dan miskin itu
• Bagaimana teknologi serupa bisa merayap ke sistem skor kredit, digital banking, dan hospitality 4.0
• Risiko diskriminasi berbasis wajah
• Pendekatan yang lebih sehat: AI etis, inklusif, dan berbasis data finansial nyata, bukan tampang

---

1. Riset: Wajah, Kekayaan, dan Bias yang Tak Disadari

Inti riset Universitas Toronto cukup sederhana tapi menggelitik: mereka menggunakan foto hitam putih 160 orang (80 pria, 80 wanita) dengan ekspresi netral dan tanpa aksesori. Separuh berasal dari kelompok berpenghasilan tinggi, separuh dari kelas pekerja.

Foto-foto ini lalu ditunjukkan ke orang lain dan mereka diminta menebak: orang ini dari kelas sosial mana?

Hasilnya:

• Sekitar 68% tebakan benar
• Responden tidak tahu bagaimana mereka bisa menebak
• Ketika fitur wajah diperbesar, mata dan mulut menjadi bagian yang paling banyak mengarahkan jawaban benar

Peneliti menemukan pola menarik:

• Wajah yang diasosiasikan dengan orang kaya cenderung tampak lebih rileks, bahagia, minim kecemasan
• Wajah yang diasosiasikan dengan kelas pekerja/miskin cenderung terlihat lebih tegang, tertekan

Bukan berarti wajah menyebabkan kekayaan. Lebih tepatnya, pengalaman hidup jangka panjang (lebih aman, lebih nyaman, atau sebaliknya penuh tekanan) perlahan membentuk mikro-ekspresi di wajah, yang lalu dibaca oleh orang lain secara bawah sadar.

Riset ini sendiri sudah cukup sensitif. Tapi sekarang bayangkan jika kemampuan serupa dipasangkan dengan AI pengenal wajah.

---

2. Dari Riset Wajah ke AI: Apa yang Mungkin Terjadi di Perbankan?

Begini pola umumnya: begitu ada penelitian yang menunjukkan pola bisa diprediksi dari data (wajah, suara, tulisan), selalu ada yang ingin menggunakannya untuk otomatisasi keputusan. Di dunia perbankan dan fintech, ini biasanya lari ke:

• Penilaian risiko kredit (credit scoring)
• Deteksi fraud
• Segmentasi nasabah

Secara teknis, sangat mungkin membangun model AI yang:

• Mengambil foto wajah dari proses e-KYC (know your customer)
• Mengekstrak fitur-fitur wajah secara otomatis
• Mencari korelasi antara pola wajah dengan status ekonomi, tingkat gagal bayar, atau perilaku transaksi

Kalau ini terjadi tanpa batasan, kita masuk wilayah sangat berbahaya:

AI bukan lagi menilai kamu dari riwayat finansial, tapi dari wajah yang kebetulan kamu miliki.

Dan yang lebih mengkhawatirkan, bias ini bisa tidak disadari. Seperti responden riset tadi yang menjawab benar tapi tidak tahu caranya, model AI juga bisa belajar pola diskriminatif tanpa ada satu pun engineer yang sengaja mengarahkan ke sana.

Contoh skenario yang patut diwaspadai

Bayangkan sebuah bank digital yang sangat agresif mengadopsi AI:

• Mereka mengumpulkan data wajah dari selfie KTP untuk onboarding
• Data wajah ini tanpa sengaja ikut masuk ke pipeline training model risiko kredit
• Ternyata, pola historis mereka: nasabah dari wilayah tertinggal, kelompok profesi informal, dan segmen tertentu punya tingkat gagal bayar lebih tinggi
• Fitur wajah yang sering muncul di kelompok ini ikut terbaca sebagai sinyal risiko

Apa akibatnya?

• Pelamar kredit dengan wajah tertentu lebih sering ditolak meski datanya secara finansial sebenarnya layak
• Nasabah dengan wajah lain mendapat limit lebih tinggi dan bunga lebih rendah
• Bank merasa “AI-nya bekerja” karena default rate turun, tapi tanpa sadar mereka memperkuat siklus kemiskinan yang disebut peneliti Nicholas O. Rule

Secara bisnis mungkin terlihat efisien. Secara etis dan sosial? Ini bencana.

---

3. Pelajaran Penting untuk AI Perbankan di Indonesia

Indonesia lagi serius mendorong inklusi keuangan dan digital banking. Dari bank digital sampai fintech lending, semuanya berlomba memakai AI untuk mempercepat analisis kredit dan memangkas biaya operasional.

Ini hal yang bagus, asal caranya benar.

Apa yang boleh dan tidak boleh dalam pemakaian AI

Yang seharusnya menjadi fokus utama AI perbankan:

• Data riwayat transaksi (gaji masuk, pola belanja, cicilan)
• Data perilaku di aplikasi (konsisten login, bayar tagihan tepat waktu)
• Data alternatif yang relevan: riwayat pembayaran listrik, telepon, e-wallet, dan sebagainya

Yang seharusnya dihindari sebagai fitur penentu skor kredit:

• Fitur wajah (bentuk mata, bibir, garis senyum, dan seterusnya)
• Warna kulit, jenis rambut, atau ciri fisik lain
• Lokasi GPS sebagai proxy kasar untuk status ekonomi, kalau dipakai secara buta

Kalau bank di Indonesia sampai mengizinkan AI menggunakan fitur fisik sebagai faktor penilaian, efeknya bisa sangat nyata:

• Kelompok yang wajahnya cenderung “lelah” karena beban hidup justru makin sulit mendapat akses pembiayaan
• Kelompok yang sudah relatif aman ekonominya semakin mudah mendapat produk finansial menguntungkan

Ini berlawanan total dengan tujuan inklusi keuangan, apalagi di negara yang masih punya kesenjangan desa-kota, Jawa-luar Jawa, formal-informal.

Prinsip sederhana: pisahkan identitas dan penilaian

AI boleh menggunakan wajah untuk:

• Verifikasi identitas (face match dengan KTP)
• Mencegah pencurian identitas

AI tidak boleh menggunakan wajah untuk:

• Menentukan boleh tidaknya seseorang menerima produk finansial
• Menentukan bunga, limit, atau kelas layanan

Ini garis batas yang menurut saya harus dijaga ketat oleh regulator, bank, dan juga penyedia teknologi.

---

4. Keterkaitan dengan Industri Pariwisata & Hospitality 4.0

Seri konten ini fokus pada AI dalam industri pariwisata Indonesia: Hospitality 4.0. Sekilas, riset wajah dan status ekonomi tadi kelihatan lebih “perbankan banget”. Tapi di lapangan, pariwisata dan finansial digital sekarang sangat saling terkait.

Contohnya:

• Booking hotel dan tiket pesawat didominasi pembayaran digital dan BNPL (buy now pay later)
• Banyak hotel dan OTA bekerja sama dengan bank digital dan fintech untuk pembiayaan cicilan liburan
• Hotel mulai pakai AI kamera dan pengenal wajah untuk check-in tanpa resepsionis

Di sinilah isu wajah dan kelas sosial bisa ikut masuk secara halus.

Risiko bias di hospitality 4.0

Bayangkan beberapa kemungkinan ini:

1. Hotel menggunakan AI untuk personalisasi layanan

   • Kamera di lobby membaca ekspresi wajah tamu untuk mengukur apakah dia “VIP”, “butuh bantuan”, atau “low priority”
   • Kalau modelnya terlatih dengan data bias, tamu dengan wajah lebih lelah atau tertekan bisa lebih jarang ditawarkan upgrade atau benefit

2. Fintech travel-credit menghubungkan wajah dengan penilaian risiko

   • Saat mengajukan cicilan liburan, selfie wajah dipakai bukan hanya untuk identitas, tapi diam-diam ikut memengaruhi penilaian risiko

3. Chatbot dan sistem rekomendasi “mengotak-ngotakkan” tamu

   • AI mengasumsikan tamu tertentu hanya cocok untuk paket hemat, yang lain untuk paket premium, berdasarkan korelasi wajah + demografi

Kalau dibiarkan, teknologi yang niat awalnya untuk mempercepat pelayanan dan memperbaiki pengalaman wisatawan bisa berubah jadi mesin diskriminasi yang halus tapi sistemik.

Padahal, salah satu janji Hospitality 4.0 adalah membuat pariwisata lebih inklusif, bukan hanya nyaman untuk yang berduit besar.

---

5. Merancang AI yang Etis, Inklusif, dan Tetap Menguntungkan

Kabar baiknya, kita tidak harus memilih antara teknologi canggih dan keadilan sosial. Keduanya bisa jalan bareng kalau desainnya benar sejak awal.

Berikut pendekatan yang menurut saya paling sehat untuk bank, fintech, hotel, dan pelaku pariwisata digital di Indonesia.

5.1. Batasi fungsi pengenal wajah hanya untuk keamanan & kenyamanan

Gunakan pengenal wajah untuk:

• Check-in cepat di hotel (face match ke data booking)
• Masuk aplikasi bank atau e-wallet tanpa OTP
• Akses lounge bandara bagi nasabah prioritas yang memang sudah terdaftar

Tapi jangan:

• Menggunakan hasil analisis wajah (misalnya “wajah stres”, “wajah miskin/kaya”) untuk mengubah level layanan atau persyaratan produk

5.2. Audit model AI terhadap bias sosial

Setiap kali ada model AI yang memengaruhi keputusan finansial atau layanan penting, lakukan:

• Uji fairness: cek apakah skor rata-rata berbeda jauh antar kelompok daerah, gender, rentang usia, dan segmen lain
• Penghapusan fitur sensitif: wajah, warna kulit, atau proxy kuat seperti kombinasi kode pos + tipe pekerjaan, jika terbukti memicu diskriminasi
• Monitoring berkala: bias bisa muncul belakangan saat data baru masuk

Di ekosistem pariwisata, audit ini penting untuk:

• Sistem rekomendasi harga dinamis (dynamic pricing) hotel atau tiket
• Sistem prioritas antrian layanan

5.3. Transparansi ke nasabah & tamu

Nasabah dan tamu hotel berhak tahu ketika:

• Data wajah mereka disimpan
• AI digunakan dalam keputusan finansial atau penentuan layanan

Minimal, berikan penjelasan ringkas di aplikasi atau saat onboarding:

• Data apa yang dipakai untuk skor kredit
• AI apa yang dipakai untuk personalisasi
• Hak pengguna untuk mengajukan banding kalau merasa dirugikan

Di Indonesia, budaya “malu bertanya sesat di jalan” masih kuat. Banyak orang sebenarnya tidak nyaman, tapi tidak berani protes. Transparansi dari awal bisa membangun kepercayaan dan justru menguntungkan brand.

5.4. Fokus ke data perilaku, bukan atribut fisik

Kalau tujuannya meningkatkan akurasi penilaian risiko dan personalisasi layanan, data perilaku jauh lebih kaya:

• Seberapa sering nasabah on-time bayar tagihan?
• Seberapa sering wisatawan memesan kamar last minute atau high season?
• Berapa kali tamu hotel meminta layanan tambahan tertentu?

Data semacam ini:

• Jauh lebih relevan dengan risiko dan kebutuhan nyata
• Lebih adil karena bisa berubah seiring waktu (orang bisa memperbaiki perilaku finansialnya)
• Tidak mengunci orang dalam “nasib berdasarkan wajah” seperti di riset tadi

---

6. Menutup: Wajah Boleh Netral, Sistem Jangan Ikut Bisu

Riset Universitas Toronto menunjukkan sesuatu yang tidak nyaman tapi jujur: manusia membawa bias saat melihat wajah orang lain, termasuk soal kaya atau miskin. AI hanya mempercepat dan memperbesar apa yang sudah ada.

Di era digital banking dan Hospitality 4.0, Indonesia punya dua pilihan:

• Membiarkan AI mengulang bias lama dengan kecepatan lebih tinggi
• Atau merancang sistem yang sengaja mengoreksi bias itu, dengan mengunci fitur-fitur berbahaya seperti analisis wajah dalam ranah keamanan saja

Untuk bank, fintech, dan pelaku pariwisata yang ingin bermain panjang, jalur kedua jelas lebih sehat. Nasabah yang merasa diperlakukan adil akan lebih loyal, lebih sering memakai produk, dan lebih percaya menitipkan data.

Kalau Anda sedang merancang strategi AI — baik untuk skor kredit, aplikasi bank digital, atau chatbot hotel — pertanyaan sederhananya begini:

“Apakah sistem ini menilai orang dari apa yang mereka lakukan, atau dari siapa mereka terlihat?”

Jawaban atas pertanyaan itu yang akan menentukan apakah AI Anda jadi alat kemajuan, atau justru mesin yang diam-diam memperkuat jurang sosial.