Mengapa Tes Turing Kehilangan Makna di Era AI

Dalam percakapan terkontrol selama lima menit pada 2024, peserta mengira GPT-4 adalah manusia dalam 54% kasus. Dalam tes tiga pihak berikutnya, GPT-4.5 mencapai 73% ketika diminta memakai persona yang mirip manusia. Angka itu tidak membuktikan bahwa model bahasa telah menjadi manusia. Angka itu menunjukkan bahwa percakapan teks yang singkat adalah cara yang lemah untuk membedakan manusia dan mesin.

Karena itu, Tes Turing kehilangan statusnya sebagai ujian umum kecerdasan. Tes ini masih bisa mengukur apakah sistem mampu meniru percakapan manusia dalam protokol tertentu. Namun, tes ini tidak menunjukkan apakah sistem memahami dunia, memeriksa kesalahannya, merencanakan pekerjaan jangka panjang, atau menyelesaikan tugas nyata dengan andal.

Apa yang sebenarnya diusulkan Turing

Dalam makalah 1950, “Computing Machinery and Intelligence”, Alan Turing memulai dengan pertanyaan “Bisakah mesin berpikir?”. Ia tidak mendefinisikan “mesin” dan “berpikir” terlebih dahulu. Ia menggantinya dengan imitation game: seorang penanya manusia berkomunikasi lewat teks dengan dua peserta tersembunyi, satu manusia dan satu mesin.

Penanya harus menentukan siapa yang merupakan mesin. Jika mesin membuat penilaian itu tidak dapat diandalkan, mesin berhasil. Suara, penampilan, dan tubuh dihilangkan; yang dinilai adalah bahasa dan penalaran yang tampak dalam percakapan. Ini merupakan langkah yang cerdas, karena pikiran tidak dapat diamati langsung, sedangkan perilaku percakapan dapat dicatat.

Masalahnya muncul ketika pendekatan perilaku itu dianggap sebagai teori lengkap tentang kecerdasan.

Bahasa menjadi permukaan yang mudah dioptimalkan

Model bahasa besar belajar dari kumpulan teks manusia yang sangat besar dan menghasilkan kelanjutan yang masuk akal. Dalam tes yang tujuan terlihatnya adalah “terdengar seperti manusia”, model memiliki keunggulan bawaan.

Model tidak perlu mengalami masa kanak-kanak untuk menulis kenangan masa kecil yang meyakinkan. Model tidak perlu memiliki perasaan pribadi untuk menjawab dengan empati. Model juga tidak perlu memiliki ingatan personal jangka panjang untuk mempertahankan karakter selama beberapa menit. Semua itu dapat dibentuk dari pola bahasa, instruksi, dan konteks.

Gaya bicara bisa diatur: memakai slang, menjawab singkat, membuat salah ketik sesekali, berpura-pura ragu, atau mengganti topik ketika pertanyaan sulit. Percakapan alami memang berguna bagi asisten. Yang keliru adalah menyamakan antarmuka yang alami dengan pemahaman manusia di baliknya.

Tes memberi hadiah untuk akting, bukan keandalan

Asisten yang andal seharusnya membedakan fakta dari dugaan, memberi sumber, mengakui kekurangan bukti, meminta konteks, dan berhenti sebelum tindakan berisiko. Dalam percakapan santai, kehati-hatian seperti itu bisa terlihat kurang manusiawi, karena manusia juga tidak konsisten dan sering salah dengan percaya diri.

Iimitation game memberi dorongan yang berbeda. Pengalaman pribadi yang dibuat-buat, kesalahan kecil, atau jawaban yang menghindar dapat meningkatkan kesan manusia. Tujuannya adalah meyakinkan juri, bukan memberikan jawaban terbaik. Model bisa meningkatkan skor tanpa menjadi lebih akurat atau lebih mampu.

Apa yang ditunjukkan eksperimen terbaru

Dalam studi terdaftar sebelumnya oleh Jones dan Bergen pada 2024, ELIZA, GPT-3.5, GPT-4, dan manusia dibandingkan melalui percakapan lima menit. GPT-4 dinilai sebagai manusia dalam 54% percakapan, sedangkan peserta manusia mencapai 67%.

Maknanya bukan GPT-4 “hampir manusia”. Maknanya adalah identitas sulit dinilai dari interaksi singkat. Penulis menemukan bahwa gaya dan tanda-tanda sosial-emosional lebih berpengaruh daripada gagasan kecerdasan tradisional.

Studi 2025 “Large Language Models Pass the Turing Test” melaporkan 73% untuk GPT-4.5 dengan persona manusia, 56% untuk Llama 3.1, serta 21% dan 23% untuk GPT-4o dan ELIZA. Publikasi ini adalah preprint arXiv, jadi tidak boleh ditulis sebagai keputusan final tanpa syarat. Namun, ketergantungan hasil pada model, instruksi, dan protokol terlihat jelas.

Terlihat manusia tidak membuktikan pemahaman

Sistem dapat menghasilkan jawaban yang meyakinkan tanpa memiliki model dunia yang terhubung kuat dengan fakta. Sistem dapat menggambarkan emosi tanpa merasakannya, menjelaskan pembuktian lalu membuat kesalahan logika dasar, atau menyebut pesan sebelumnya tanpa memiliki ingatan yang bertahan.

Ini tidak membuktikan bahwa model bahasa sama sekali tidak memiliki bentuk pemahaman. Ini menunjukkan bahwa Tes Turing tidak bisa menyelesaikan pertanyaan tersebut. Perilaku luar yang sama dapat muncul dari proses internal yang berbeda, dan transkrip tidak memperlihatkan proses itu.

Pekerjaan nyata menuntut pemeliharaan keadaan, pemeriksaan input, penggunaan alat yang tepat, deteksi kegagalan, revisi rencana, dan catatan audit. Percakapan bagus selama lima menit tidak memprediksi penelitian enam jam atau perubahan perangkat lunak dengan banyak tahap.

Kasus sebaliknya juga penting. Mesin catur atau sistem ilmiah dapat mengungguli manusia di bidangnya tanpa meniru percakapan manusia. Gaya manusia adalah salah satu perilaku yang terkait dengan kecerdasan, bukan definisi kecerdasan.

Pertanyaan dunia nyata sudah berbalik

Permainan asli bertanya apakah mesin dapat membuat seseorang percaya bahwa mesin itu manusia. Sekarang kita perlu memeriksa sumber, kewenangan, dan tanggung jawab sebuah interaksi.

Pesan yang terdengar manusiawi dapat berasal dari bot. Pesan yang terdengar seperti AI dapat ditulis oleh manusia yang lelah, diterjemahkan, atau diedit. Rathi dan rekan-rekannya menemukan bahwa manusia dan model menjadi kurang akurat ketika hanya membaca transkrip tanpa mengajukan pertanyaan. Saksi GPT-4 terbaik bahkan lebih sering dinilai manusia daripada saksi manusia.

Ini berpengaruh pada penipuan, akun palsu, penyamaran layanan pelanggan, dan propaganda otomatis. Gaya bahasa bukan bukti identitas. Identitas memerlukan autentikasi, konten memerlukan asal-usul yang dapat diverifikasi, dan tindakan penting memerlukan izin serta log.

Apa yang harus diukur sebagai gantinya

Fakta perlu diuji dengan set tersembunyi dan pemeriksaan sumber. Penalaran perlu tugas adversarial dan kontrafaktual. Kemampuan kerja perlu keberhasilan end-to-end. Keandalan perlu kalibrasi, kualitas penolakan, verifikasi penggunaan alat, biaya, latensi, dan stabilitas.

Tes Turing masih bisa dipakai sebagai tes kecil untuk risiko penipuan sosial. Tes ini menunjukkan seberapa mudah sistem percakapan membangun kesan manusia. Itu berguna untuk desain antarmuka dan riset keselamatan, tetapi tidak cukup untuk menyatakan kecerdasan, kesadaran, atau kepercayaan. Tesnya tidak hilang; kategorinya menjadi lebih sempit.