Para ilmuwan kemudian mengajukan pertanyaan hipotetis yang diambil dari psikologi umum kepada LLM, dalam konteks penerapan komersial di dunia nyata, seperti bidang manajemen inventaris atau negosiasi supplier.

Tujuannya bukan hanya untuk melihat apakah AI akan meniru bias manusia, tetapi apakah ia akan tetap melakukannya ketika ditanya pertanyaan dari berbagai domain bisnis.

GPT-4 mengungguli GPT-3.5 ketika menjawab masalah dengan solusi matematika yang jelas, menunjukkan lebih sedikit kesalahan dalam skenario berbasis probabilitas dan logika.

Dalam simulasi subjektif, seperti apakah AI akan memilih opsi berisiko untuk merealisasikan keuntungan, chatbot sering kali mencerminkan preferensi irasional yang cenderung ditunjukkan manusia.

"GPT-4 menunjukkan preferensi yang lebih kuat terhadap kepastian daripada yang dilakukan manusia," tulis tim peneliti dalam makalah tersebut, merujuk pada kecenderungan AI untuk condong ke hasil yang lebih aman dan lebih dapat diprediksi ketika diberikan tugas ambigu.

Lebih penting lagi, perilaku chatbot sebagian besar tetap stabil terlepas dari apakah pertanyaannya dirumuskan sebagai masalah psikologis abstrak atau proses bisnis operasional.

Studi ini menyimpulkan bahwa bias yang ditunjukkan bukan hanya produk dari contoh yang dihafal, tetapi bagian dari cara AI bernalar.