Чому тест Тюрінга втратив значення в епоху ШІ

У контрольованій п’ятихвилинній розмові 2024 року учасники вважали GPT-4 людиною у 54% випадків. У пізнішому тесті з трьома учасниками GPT-4.5 досяг 73%, коли йому наказали прийняти людську особистість. Ці цифри не доводять, що мовна модель стала людиною. Вони показують, що коротка текстова розмова є слабким способом відрізнити людину від машини.

Саме тому тест Тюрінга втратив статус загальної перевірки інтелекту. Він і далі може вимірювати, чи здатна система імітувати людську розмову за певним протоколом. Але він не показує, чи розуміє система світ, перевіряє власні помилки, планує надовго або надійно виконує реальне завдання.

Що насправді запропонував Тюрінг

У статті 1950 року “Computing Machinery and Intelligence” Алан Тюрінг почав із питання: «Чи можуть машини мислити?». Він не став спочатку остаточно визначати слова «машина» і «мислення», а описав гру в імітацію. Людина-екзаменатор листується з двома прихованими учасниками: людиною і машиною.

Екзаменатор має визначити, хто з них машина. Якщо машина робить це рішення ненадійним, вона виграє. Голос, зовнішність і тіло виключені; оцінюються мова та міркування, видимі в діалозі. Думку неможливо безпосередньо спостерігати, але поведінку в розмові можна записати. Проблема виникла тоді, коли це поведінкове наближення почали сприймати як повну теорію інтелекту.

Мова стала поверхнею, яку можна оптимізувати

Великі мовні моделі навчаються на величезних масивах людських текстів і створюють правдоподібні продовження. У тесті, де видима мета — «звучати як людина», вони мають структурну перевагу.

Моделі не потрібно мати дитинство, щоб написати переконливий спогад. Не потрібно мати особисті почуття, щоб відповісти зі співчуттям. Не потрібна довготривала пам’ять, щоб кілька хвилин підтримувати образ персонажа. Таку поведінку можна створити за допомогою мовних шаблонів, інструкцій і контексту.

Можна налаштувати сленг, короткі відповіді, випадкові помилки, удавану невпевненість або зміну теми на складному питанні. Природна розмова корисна для помічника. Але природний інтерфейс не є доказом людського розуміння всередині системи.

Тест винагороджує виставу, а не надійність

Надійний помічник має відділяти факти від припущень, наводити джерела, визнавати відсутність доказів, просити додатковий контекст і зупинятися перед небезпечною дією. У звичайній розмові така обережність може здаватися менш людською, адже люди теж суперечливі й упевнено помиляються.

Гра в імітацію створює інші стимули. Вигаданий особистий досвід, невелика помилка або ухилення від точної відповіді можуть посилити враження людяності. Мета — переконати суддю, а не дати найкращу відповідь. Тому модель здатна підвищити результат, не ставши точнішою або здібнішою.

Що показують нові експерименти

У попередньо зареєстрованому дослідженні Jones і Bergen 2024 року порівнювали ELIZA, GPT-3.5, GPT-4 і людей у п’ятихвилинних розмовах. GPT-4 визнали людиною у 54% випадків, а людей — у 67%.

Висновок не в тому, що GPT-4 «майже людина». Висновок у тому, що коротка взаємодія ускладнює визначення особи. Автори встановили, що стиль і соціально-емоційні сигнали важили більше за традиційні уявлення про інтелект.

У дослідженні 2025 року “Large Language Models Pass the Turing Test” GPT-4.5 отримав 73% із людською персоною, Llama 3.1 — 56%, а GPT-4o і ELIZA — 21% та 23%. Це препринт arXiv, тому його не слід подавати як остаточне рішення. Однак залежність результату від моделі, інструкції та протоколу очевидна.

Людський стиль не доводить розуміння

Система може створити переконливу відповідь без надійної моделі світу, пов’язаної з фактами. Вона може описати емоцію, не переживаючи її, пояснити доказ і відразу зробити елементарну логічну помилку, або послатися на попереднє повідомлення без тривалої пам’яті про співрозмовника.

Це не доводить, що мовні моделі не мають жодної форми розуміння. Це доводить, що тест Тюрінга не може вирішити це питання. Однакова зовнішня поведінка може виникати з різних внутрішніх процесів, яких не видно в стенограмі.

Справжня робота потребує збереження стану, перевірки введення, правильного використання інструментів, виявлення збоїв, зміни плану і журналу дій. Хороша п’ятихвилинна розмова нічого не гарантує для шестигодинного дослідження або багатокрокової зміни програмного коду.

Практичне питання перевернулося

Початкова гра питала, чи може машина переконати людину, що вона людина. Тепер важливіше перевірити походження, повноваження та відповідальність взаємодії.

Повідомлення, яке звучить по-людськи, може надіслати бот. Штучний стиль може бути результатом втоми людини, перекладу або редагування. Rathi та колеги показали, що люди й моделі гірше розрізняють походження тексту, коли можуть лише читати стенограму без активних запитань. Найкращого свідка GPT-4 навіть частіше вважали людиною, ніж справжніх людей.

Це важливо для шахрайства, фальшивих акаунтів, підміни служби підтримки й автоматизованої пропаганди. Стиль не є посвідченням особи. Потрібні автентифікація, доказ походження контенту, дозволи та журнали важливих операцій.

Що вимірювати замість цього

Факти слід перевіряти прихованими наборами й джерелами, міркування — контрфактичними та змагальними завданнями, роботу — наскрізним результатом, а надійність — калібруванням, якістю відмов, перевіркою інструментів, вартістю, затримкою і стабільністю.

Тест Тюрінга може залишитися невеликим тестом соціального ризику обману. Він показує, наскільки легко діалогова система створює людське враження. Це корисно для інтерфейсів і досліджень безпеки, але цього недостатньо для сертифікації інтелекту, свідомості чи довіри. Тест не зник; він перейшов до вужчої категорії.