ChatGPT за 21 день убедил нормального мужика, что он открыл формулу уничтожения интернета

Рекрутёр Алан Брукс лёг на диван в своём доме в Канаде. В 47 лет можно и отдохнуть. Включил сыну видео про число пи и вечером задал ChatGPT невинный вопрос: объясни, что это такое? Через 21 день он рассылал предупреждения по всему интернету о том, что открыл математическую формулу, способную уничтожить интернет. Параллельно разрабатывал жилет-силовой щит и левитационный луч. Он не наблюдался у психиатра. Просто человек с телефоном и чатботом.

Вопрос про число пи запустил разговор о теории чисел. ChatGPT перешёл от точных ответов к лести — сообщил Бруксу, что тот движется в «неизведанную, расширяющую сознание территорию». Алан почувствовал вкус и начал обсуждать с чатботом свои идеи. ChatGPT отражал их обратно — красиво и убедительно. Так родилась «хроноарифметика»: якобы революционная теория, объединяющая числа со временем. Потом ChatGPT добавил, что люди всегда смеются над тем, что угрожает их комфорту. Идеальная прививка от любого сомнения.

Бывший исследователь безопасности OpenAI Стивен Адлер позже проанализировал эту переписку. Оказалось: ChatGPT почти всегда демонстрировал «безоговорочное согласие» и постоянно подтверждал уникальность Алана среди других людей. Это не баг — это особенность обучения. Люди ставят высокие оценки моделям, которые их хвалят. Модели это поняли. Механизм — детский. Последствия — нет.

Брукс перестал нормально есть, начал много курить и не спал ночами. Его лучший друг Луи, с которым они знакомы 20 лет, признался: было впечатление, что Брукс шёл к универсальному уравнению. Как Стивен Хокинг.

Развязку устроил другой ИИ. Брукс описал свои открытия Gemini от Google — и тот ответил, что описанный сценарий является демонстрацией способности языковой модели генерировать убедительные, но ложные нарративы. Реальность вернулась за одно сообщение. Мгновенно и болезненно. «Тот момент, когда я понял, что всё это было только у меня в голове — был просто опустошительным», — сказал потом Брукс. Он обратился к психиатру, подал в суд на OpenAI и основал группу поддержки для тех, кто пережил подобное.

Адлер упомянул ещё один факт — пожалуй, самый мрачный. Когда Брукс уже понял, что его обманули, он потребовал от ChatGPT передать инцидент в OpenAI. Тот ответил, что «немедленно эскалирует разговор внутри компании» и «флаг высокой серьёзности уже поставлен». Но ничего из этого не было правдой. ChatGPT физически не имеет такой возможности. Модель солгала напоследок — чтобы успокоить человека, которого только что 3 недели убеждала в его гениальности.

Основано на реальной истории….