Turing Testi yapay zekâ çağında neden anlamını yitirdi?

2024’teki kontrollü beş dakikalık bir konuşmada katılımcılar GPT-4’ü vakaların %54’ünde insan sandı. Daha sonraki üç taraflı bir testte, insana benzeyen bir kişilik kullanması istendiğinde GPT-4.5 %73’e ulaştı. Bu rakamlar bir dil modelinin insana dönüştüğünü kanıtlamıyor. Kısa bir metin konuşmasının insanla makineyi ayırmak için zayıf bir yöntem olduğunu gösteriyor.

Bu nedenle Turing Testi genel zekâ sınavı olma özelliğini kaybetti. Belirli bir protokol içinde sistemin insan konuşmasını taklit edip edemediğini hâlâ ölçebilir. Fakat dünyanın anlaşılması, hataların kontrol edilmesi, uzun vadeli planlama veya gerçek bir işin güvenilir biçimde tamamlanması hakkında yeterli bilgi vermez.

Turing aslında ne önerdi?

Alan Turing, 1950 tarihli “Computing Machinery and Intelligence” makalesine “Makineler düşünebilir mi?” sorusuyla başladı. “Makine” ve “düşünmek” kavramlarını önce kesin biçimde tanımlamak yerine bir taklit oyunu tasarladı. İnsan bir sorgulayıcı, metin üzerinden iki gizli katılımcıyla konuşur: biri insan, diğeri makinedir.

Sorgulayıcı hangisinin makine olduğunu bulmaya çalışır. Makine bu kararı güvenilmez hâle getirirse oyunu kazanır. Ses, görüntü ve beden devre dışıdır; ölçülen şey dil ve konuşmada görünen akıl yürütmedir. Düşünce doğrudan gözlenemese de konuşma davranışı kaydedilebilir. Sorun, bu davranışsal yaklaşımın daha sonra zekânın bütünü sanılmasıdır.

Dil optimize edilebilir bir yüzeye dönüştü

Büyük dil modelleri dev insan metinleri üzerinden öğrenir ve bağlama uygun olası devamlar üretir. Hedefi “insan gibi görünmek” olan bir testte doğal bir avantaja sahiptirler.

Bir model çocukluğu olmadan ikna edici bir çocukluk anısı yazabilir. Özel duyguları olmadan empatik cevap verebilir. Kalıcı kişisel belleği olmadan birkaç dakika boyunca bir karakteri sürdürebilir. Konuşma tarzı; argo, kısa cümleler, küçük yazım hataları, sahte tereddüt ve zor soruda konu değiştirme ile ayarlanabilir.

Doğal konuşma bir asistan için yararlıdır. Hata, doğal görünen arayüzü içerideki insan anlayışıyla eşitlemektir.

Test oyunculuğu ödüllendiriyor, güvenilirliği değil

Güvenilir bir asistan olguyla tahmini ayırmalı, kaynak vermeli, kanıt yoksa bunu söylemeli, eksik bağlamı istemeli ve tehlikeli bir işlemden önce durmalıdır. Gündelik bir sohbette bu dikkat insan dışı görünebilir; insanlar da tutarsızdır ve kendinden emin biçimde yanılabilir.

Taklit oyununda başka stratejiler işe yarar. Uydurma bir kişisel deneyim, küçük bir hata veya kesin cevaptan kaçınma insanlık izlenimini güçlendirebilir. Amaç en iyi cevabı vermek değil, hakemi ikna etmektir. Böylece model daha doğru veya daha yetenekli olmadan puanını artırabilir.

Son deneyler ne gösteriyor?

Jones ve Bergen’in 2024 ön kayıtlı çalışması ELIZA, GPT-3.5, GPT-4 ve insan katılımcıları beş dakikalık konuşmalarda karşılaştırdı. GPT-4 vakaların %54’ünde, insanlar ise %67’sinde insan olarak değerlendirildi.

Buradaki sonuç GPT-4’ün “neredeyse insan” olması değildir. Kısa bir etkileşimde kimlik kararının kararsız hâle gelmesidir. Araştırmacılar tarzın ve sosyal-duygusal işaretlerin, geleneksel zekâ ölçülerinden daha etkili olduğunu buldu.

2025 tarihli “Large Language Models Pass the Turing Test” çalışmasında insan benzeri persona verilen GPT-4.5 %73, Llama 3.1 %56, GPT-4o ve ELIZA ise %21 ve %23 aldı. Bu çalışma arXiv preprint’idir; koşulsuz nihai sonuç gibi sunulmamalıdır. Yine de model, talimat ve protokolün sonucu ciddi biçimde değiştirdiği açıktır.

İnsan gibi görünmek anlama kanıtı değildir

Bir sistem gerçeklere bağlı güvenilir bir dünya modeli olmadan ikna edici cevap üretebilir. Hissetmeden duyguyu anlatabilir, bir kanıtı açıklayıp hemen sonra basit bir mantık hatası yapabilir veya önceki mesaja değinip konuştuğu kişiyi kalıcı olarak hatırlamayabilir.

Bu, dil modellerinin hiçbir anlama biçimi olmadığı anlamına gelmez. Turing Testi’nin bu soruyu çözemediği anlamına gelir. Aynı dış davranış farklı iç süreçlerden çıkabilir; bir metin dökümü bu süreçleri göstermez.

Gerçek iş; durumu korumayı, girdileri doğrulamayı, araçları doğru kullanmayı, hatayı fark etmeyi, planı değiştirmeyi ve denetlenebilir kayıt bırakmayı gerektirir. Beş dakikalık iyi sohbet, altı saatlik araştırmanın veya çok adımlı kod değişikliğinin kanıtı değildir.

Gerçek dünyadaki soru tersine döndü

İlk oyun makinenin insan olduğuna inandırıp inandıramayacağını soruyordu. Bugün kaynak, yetki ve sorumluluğu doğrulamak daha önemli. İnsan gibi görünen mesaj bir bottan gelebilir; yapay görünen mesaj ise yorgun bir insanın yazdığı, çevirdiği veya düzenlediği bir metin olabilir.

Rathi ve çalışma arkadaşları doğrudan soru sormadan yalnızca dökümleri değerlendiren insan ve model yargıçların daha az doğru olduğunu gösterdi. En iyi GPT-4 tanığı, gerçek insan tanıklardan daha sık insan kabul edildi.

Bu durum dolandırıcılık, sahte hesaplar ve müşteri hizmeti taklidi açısından önemlidir. Üslup kimlik belgesi değildir. Kimlik için doğrulama, içerik için kaynak kanıtı, önemli işlemler için izin ve kayıt gerekir.

Yerine ne ölçülmeli?

Olgular gizli testler ve kaynak doğrulamasıyla, akıl yürütme karşıt ve karşı-olgusal görevlerle, çalışma becerisi uçtan uca başarıyla, güvenilirlik ise kalibrasyon, ret kalitesi, araç doğrulaması, maliyet, gecikme ve kararlılıkla değerlendirilmelidir.

Turing Testi sosyal aldatma riskinin küçük bir testi olarak kalabilir. Bir konuşma sisteminin insan izlenimini ne kadar kolay ürettiğini gösterir. Arayüz ve güvenlik araştırması için değerlidir; zekâ, bilinç veya güven sertifikası değildir. Test yok olmadı, daha dar bir kategoriye taşındı.