چرا آزمون تورینگ در عصر هوش مصنوعی معنای خود را از دست داده است

در یک گفت‌وگوی کنترل‌شده پنج‌دقیقه‌ای در سال ۲۰۲۴، شرکت‌کنندگان GPT-4 را در ۵۴ درصد موارد انسان تشخیص دادند. در آزمونی سه‌طرفه که بعدتر انجام شد، GPT-4.5 وقتی مأمور شد شخصیتی شبیه انسان بگیرد به ۷۳ درصد رسید. این اعداد ثابت نمی‌کنند که یک مدل زبانی انسان شده است. آن‌ها نشان می‌دهند که گفت‌وگوی متنی کوتاه راه ضعیفی برای تشخیص انسان از ماشین است.

به همین دلیل آزمون تورینگ جایگاه خود را به‌عنوان آزمون عمومی هوش از دست داده است. این آزمون هنوز می‌تواند نشان دهد که یک سامانه در چارچوبی مشخص قادر به تقلید گفت‌وگوی انسانی هست یا نه. اما نشان نمی‌دهد که سامانه جهان را می‌فهمد، خطاهای خود را بررسی می‌کند، برنامه بلندمدت دارد یا کار واقعی را قابل اعتماد انجام می‌دهد.

تورینگ واقعاً چه چیزی پیشنهاد کرد؟

آلن تورینگ در مقاله سال ۱۹۵۰ خود، “Computing Machinery and Intelligence”، با این پرسش شروع کرد: «آیا ماشین‌ها می‌توانند فکر کنند؟» او به‌جای تعریف کامل «ماشین» و «فکر کردن»، بازی تقلید را توصیف کرد. یک پرسشگر انسانی از راه متن با دو شرکت‌کننده پنهان گفت‌وگو می‌کند: یک انسان و یک ماشین.

پرسشگر باید تشخیص دهد کدام طرف ماشین است. اگر ماشین قضاوت او را غیرقابل اعتماد کند، در بازی موفق شده است. صدا، ظاهر و بدن از آزمایش حذف می‌شوند و زبان و استدلالی که در گفت‌وگو دیده می‌شود باقی می‌ماند. فکر را نمی‌توان مستقیماً دید، اما رفتار گفت‌وگویی را می‌توان ثبت کرد. مشکل زمانی پدیدار شد که این تقریب رفتاری به‌عنوان نظریه کامل هوش تفسیر شد.

زبان به سطحی قابل بهینه‌سازی تبدیل شده است

مدل‌های زبانی بزرگ از مجموعه‌های عظیم متن انسانی یاد می‌گیرند و ادامه‌های محتمل تولید می‌کنند. در آزمونی که هدف آشکارش «شبیه انسان به نظر رسیدن» است، آن‌ها از ابتدا مزیت ساختاری دارند.

مدل لازم نیست کودکی واقعی داشته باشد تا خاطره‌ای قانع‌کننده از کودکی بنویسد. لازم نیست احساس خصوصی داشته باشد تا همدلانه پاسخ دهد. حتی به حافظه شخصی پایدار نیاز ندارد تا چند دقیقه یک شخصیت را حفظ کند. الگوهای زبانی، دستورها و زمینه گفت‌وگو برای ساختن این رفتار کافی است.

می‌توان سبک را با اصطلاحات عامیانه، پاسخ‌های کوتاه، غلط‌های املایی گاه‌به‌گاه، تردید ساختگی یا تغییر موضوع در برابر پرسش دشوار تنظیم کرد. گفت‌وگوی طبیعی برای دستیار مفید است. اشتباه این است که طبیعی بودن رابط را با فهم انسانی درون سامانه یکی بدانیم.

آزمون نمایش را پاداش می‌دهد، نه اعتمادپذیری را

یک دستیار قابل اعتماد باید واقعیت را از حدس جدا کند، منبع بدهد، نبودِ مدرک را بپذیرد، زمینه ناقص را درخواست کند و پیش از یک اقدام خطرناک متوقف شود. در گفت‌وگوی عادی، این احتیاط ممکن است کمتر انسانی به نظر برسد، چون انسان‌ها هم ناسازگارند و با اطمینان اشتباه می‌کنند.

بازی تقلید انگیزه‌های دیگری ایجاد می‌کند. ساختن تجربه شخصی، یک اشتباه کوچک یا پرهیز از پاسخ دقیق می‌تواند تصور انسانی بودن را بیشتر کند. هدف قانع کردن داور است، نه دادن بهترین پاسخ. بنابراین مدل می‌تواند امتیاز خود را بالا ببرد بی‌آنکه دقیق‌تر یا تواناتر شده باشد.

آزمایش‌های اخیر چه می‌گویند؟

در مطالعه پیش‌ثبت‌شده Jones و Bergen در سال ۲۰۲۴، ELIZA، GPT-3.5، GPT-4 و انسان‌ها در گفت‌وگوهای پنج‌دقیقه‌ای مقایسه شدند. GPT-4 در ۵۴ درصد موارد انسان تشخیص داده شد و انسان‌ها به ۶۷ درصد رسیدند.

نتیجه این نیست که GPT-4 «تقریباً انسان» است. نتیجه این است که در یک تعامل کوتاه، تشخیص هویت دشوار می‌شود. نویسندگان دریافتند که سبک و نشانه‌های اجتماعی-عاطفی بیشتر از برداشت‌های سنتی از هوش بر موفقیت اثر می‌گذارند.

در مطالعه سال ۲۰۲۵ با عنوان “Large Language Models Pass the Turing Test”، GPT-4.5 با شخصیت انسانی ۷۳ درصد، Llama 3.1 برابر ۵۶ درصد، و GPT-4o و ELIZA برابر ۲۱ و ۲۳ درصد بودند. این متن یک پیش‌چاپ در arXiv است و نباید به‌عنوان نتیجه نهایی بی‌قیدوشرط نوشته شود. با این حال، وابستگی نتیجه به مدل، دستور و پروتکل روشن است.

شبیه انسان بودن، اثبات فهم نیست

یک سامانه می‌تواند بدون داشتن مدل جهانی قابل اعتماد و متصل به واقعیت، پاسخی قانع‌کننده بسازد. می‌تواند بدون تجربه احساس، احساس را توصیف کند؛ برهانی را توضیح دهد و بلافاصله خطای منطقی ساده‌ای مرتکب شود؛ یا به پیام قبلی اشاره کند، بی‌آنکه حافظه پایدار از مخاطب داشته باشد.

این موضوع ثابت نمی‌کند که مدل‌های زبانی هیچ شکلی از فهم ندارند. نشان می‌دهد که آزمون تورینگ نمی‌تواند این پرسش را حل کند. یک رفتار بیرونی یکسان می‌تواند از فرایندهای درونی متفاوتی بیاید و متن گفت‌وگو آن فرایندها را نشان نمی‌دهد.

کار واقعی به حفظ وضعیت، بررسی ورودی، استفاده درست از ابزارها، تشخیص شکست، اصلاح برنامه و ثبت قابل حسابرسی نیاز دارد. گفت‌وگوی خوب پنج‌دقیقه‌ای موفقیت در پژوهش شش‌ساعته یا تغییر چندمرحله‌ای نرم‌افزار را پیش‌بینی نمی‌کند.

پرسش واقعی برعکس شده است

بازی اولیه می‌پرسید آیا ماشین می‌تواند کسی را قانع کند که انسان است. امروز باید منبع، اختیار و مسئولیت هر تعامل را بررسی کنیم. پیامی که انسانی به نظر می‌رسد ممکن است از ربات آمده باشد؛ سبکی که مصنوعی به نظر می‌رسد ممکن است نوشته انسان خسته، ترجمه‌شده یا ویرایش‌شده باشد.

Rathi و همکاران نشان دادند که وقتی داور فقط متن گفت‌وگو را می‌خواند و نمی‌تواند فعالانه سؤال بپرسد، دقت انسان‌ها و مدل‌ها کاهش می‌یابد. بهترین شاهد GPT-4 حتی بیشتر از شاهدان انسانی، انسان تشخیص داده شد.

این مسئله برای کلاهبرداری، حساب‌های جعلی، جعل پشتیبانی مشتری و تبلیغات خودکار اهمیت دارد. سبک زبانی مدرک هویت نیست. هویت به احراز هویت نیاز دارد، محتوا به اثبات منشأ، و اقدامات مهم به مجوز و گزارش ثبت‌شده.

به‌جای آن چه چیزی را باید سنجید؟

واقعیت را باید با مجموعه‌های آزمون پنهان و بررسی منابع سنجید؛ استدلال را با وظایف خصمانه و خلاف‌واقع؛ توانایی کار را با موفقیت سرتاسری؛ و اعتمادپذیری را با کالیبراسیون، کیفیت امتناع، بررسی ابزار، هزینه، تأخیر و پایداری.

آزمون تورینگ می‌تواند به‌عنوان آزمونی کوچک برای خطر فریب اجتماعی باقی بماند. این آزمون نشان می‌دهد یک سامانه گفت‌وگویی چقدر آسان تصویری انسانی می‌سازد. برای طراحی رابط و پژوهش ایمنی مفید است، اما گواهی هوش، آگاهی یا اعتماد نیست. آزمون حذف نشده؛ فقط به دسته‌ای محدودتر منتقل شده است.