Vì sao phép thử Turing đã mất ý nghĩa trong thời đại AI

Trong một cuộc hội thoại có kiểm soát kéo dài năm phút vào năm 2024, người tham gia đánh giá GPT-4 là con người trong 54% trường hợp. Ở một phép thử ba bên sau đó, GPT-4.5 đạt 73% khi được yêu cầu dùng một tính cách giống người. Những con số này không chứng minh mô hình ngôn ngữ đã trở thành con người. Chúng cho thấy một cuộc trò chuyện bằng văn bản quá ngắn là cách yếu để phân biệt người và máy.

Đó là lý do phép thử Turing không còn phù hợp với vai trò bài thi tổng quát về trí tuệ. Nó vẫn đo được hệ thống có thể bắt chước hội thoại của con người trong một quy trình cụ thể hay không. Nó không cho biết hệ thống có hiểu thế giới, kiểm tra lỗi, lập kế hoạch dài hạn hay hoàn thành công việc thật một cách đáng tin hay không.

Turing thực sự đề xuất điều gì?

Trong bài viết năm 1950 “Computing Machinery and Intelligence”, Alan Turing bắt đầu bằng câu hỏi “Máy móc có thể suy nghĩ không?”. Thay vì định nghĩa hoàn chỉnh “máy móc” và “suy nghĩ”, ông mô tả một trò chơi bắt chước. Người hỏi chuyện bằng văn bản với hai đối tượng giấu danh tính: một người và một máy.

Người hỏi phải xác định đâu là máy. Nếu máy khiến phán đoán đó trở nên không đáng tin, nó đã thành công. Giọng nói, diện mạo và cơ thể bị loại khỏi thí nghiệm; chỉ còn ngôn ngữ và suy luận thể hiện trong cuộc trò chuyện. Tư duy không thể quan sát trực tiếp, nhưng hành vi hội thoại có thể được ghi lại. Vấn đề xuất hiện khi phép gần đúng về hành vi này bị xem là lý thuyết đầy đủ về trí tuệ.

Ngôn ngữ đã trở thành một bề mặt có thể tối ưu

Các mô hình ngôn ngữ lớn học từ kho văn bản khổng lồ của con người và tạo ra những phần tiếp theo có vẻ hợp lý. Trong một bài kiểm tra có mục tiêu nhìn thấy là “nghe như con người”, chúng có lợi thế tự nhiên.

Mô hình không cần trải qua tuổi thơ để viết một ký ức tuổi thơ thuyết phục. Nó không cần cảm xúc riêng để trả lời đầy đồng cảm. Nó cũng không cần ký ức cá nhân bền vững để giữ một nhân vật trong vài phút. Những hành vi đó có thể được tạo ra từ mẫu ngôn ngữ, chỉ dẫn và ngữ cảnh.

Phong cách có thể điều chỉnh bằng tiếng lóng, câu ngắn, lỗi chính tả nhỏ, vẻ do dự hoặc chuyển chủ đề khi câu hỏi khó. Hội thoại tự nhiên hữu ích cho trợ lý. Sai lầm là coi giao diện tự nhiên như bằng chứng của sự hiểu biết giống con người ở bên trong.

Phép thử thưởng cho diễn xuất, không thưởng cho độ tin cậy

Một trợ lý đáng tin nên tách sự thật khỏi phỏng đoán, đưa nguồn, thừa nhận khi thiếu bằng chứng, hỏi thêm bối cảnh và dừng lại trước hành động nguy hiểm. Trong trò chuyện đời thường, sự thận trọng ấy có thể khiến nó trông kém giống người, vì con người cũng không nhất quán và thường sai với vẻ rất tự tin.

Trò chơi bắt chước tạo ra động lực khác. Bịa một trải nghiệm cá nhân, mắc một lỗi nhỏ hoặc né câu trả lời cụ thể có thể làm tăng ấn tượng “là người”. Mục tiêu là thuyết phục người chấm, không phải đưa ra câu trả lời tốt nhất. Một mô hình vì thế có thể tăng điểm mà không chính xác hay giỏi hơn.

Các thí nghiệm gần đây cho thấy gì?

Nghiên cứu đăng ký trước của Jones và Bergen năm 2024 so sánh ELIZA, GPT-3.5, GPT-4 và người thật trong các cuộc trò chuyện năm phút. GPT-4 bị đánh giá là người trong 54% trường hợp, còn người thật đạt 67%.

Điểm chính không phải GPT-4 “gần như là người”. Điểm chính là nhận dạng trở nên khó trong một tương tác ngắn. Các tác giả nhận thấy phong cách và tín hiệu xã hội-cảm xúc có ảnh hưởng lớn hơn các quan niệm truyền thống về trí tuệ.

Trong nghiên cứu năm 2025 “Large Language Models Pass the Turing Test”, GPT-4.5 đạt 73% với persona giống người, Llama 3.1 đạt 56%, còn GPT-4o và ELIZA đạt 21% và 23%. Đây là một bản preprint trên arXiv nên không nên viết như kết luận cuối cùng. Tuy vậy, sự phụ thuộc của kết quả vào mô hình, chỉ dẫn và giao thức là rất rõ.

Trông giống người không chứng minh sự hiểu biết

Một hệ thống có thể tạo câu trả lời thuyết phục mà không có mô hình thế giới đáng tin gắn với sự kiện. Nó có thể mô tả cảm xúc mà không trải nghiệm cảm xúc, giải thích một chứng minh rồi mắc lỗi logic cơ bản, hoặc nhắc lại tin nhắn trước mà không có ký ức lâu dài về người đối thoại.

Điều đó không chứng minh mô hình ngôn ngữ hoàn toàn không có dạng hiểu biết nào. Nó cho thấy phép thử Turing không thể giải quyết câu hỏi này. Cùng một hành vi bên ngoài có thể xuất phát từ các quá trình bên trong khác nhau, và bản chép lời không cho ta thấy các quá trình đó.

Công việc thật cần duy trì trạng thái, kiểm tra đầu vào, dùng công cụ đúng, nhận ra thất bại, sửa kế hoạch và để lại nhật ký. Một cuộc trò chuyện tốt trong năm phút không dự báo được một nghiên cứu kéo dài sáu giờ hay thay đổi phần mềm nhiều bước.

Câu hỏi thực tế đã đảo ngược

Trò chơi ban đầu hỏi máy có thể khiến người khác tin nó là người hay không. Ngày nay, câu hỏi quan trọng hơn là làm sao xác minh nguồn gốc, quyền hạn và trách nhiệm của một tương tác.

Một tin nhắn nghe như người có thể đến từ bot. Một văn bản nghe như AI có thể do một người mệt mỏi viết, hoặc được dịch và biên tập. Rathi và các cộng sự cho thấy người và mô hình đều kém chính xác hơn khi chỉ đọc bản ghi mà không được hỏi trực tiếp. Đối thoại GPT-4 tốt nhất thậm chí còn bị nhận là người thường xuyên hơn đối thoại của người thật.

Điều này quan trọng với lừa đảo, tài khoản giả, giả mạo chăm sóc khách hàng và tuyên truyền tự động. Văn phong không phải giấy tờ xác thực danh tính. Danh tính cần xác thực, nội dung cần chứng minh nguồn gốc, còn hành động quan trọng cần quyền hạn và nhật ký.

Nên đo điều gì thay thế?

Sự thật nên được đo bằng bộ kiểm tra ẩn và xác minh nguồn. Suy luận nên được đo bằng nhiệm vụ đối kháng và phản thực tế. Khả năng làm việc nên được đo bằng kết quả đầu-cuối. Độ tin cậy cần calibration, chất lượng từ chối, kiểm tra công cụ, chi phí, độ trễ và độ ổn định.

Phép thử Turing có thể giữ vai trò một bài kiểm tra nhỏ về rủi ro lừa dối xã hội. Nó cho thấy hệ thống hội thoại dễ tạo ấn tượng con người đến mức nào. Điều đó hữu ích cho thiết kế giao diện và nghiên cứu an toàn, nhưng không đủ để chứng nhận trí tuệ, ý thức hay niềm tin. Phép thử không biến mất; phạm vi của nó đã thu hẹp.