Сладкая ложь и удобные иллюзии: почему опасно отдавать свой мозг на откуп ИИ

Знаете об эффекте Даннинга-Крюгера? Проще говоря, это когда люди с низким уровнем знаний сильно переоценивают свои способности. Но появился ИИ, и эффект Даннинга-Крюгера получил самое мощное усиление в истории.

Человек, не разбирающийся в данной теме, запрашивает информацию у модели, получает четкий и уверенный ответ и зачастую верит ей больше, чем живому специалисту. Проверять? Зачем, ведь там всё так хорошо написано!

Самое ироничное, что ученые это проверили, и в случае с ИИ классический эффект Даннинга-Крюгера исчезает. Не потому, что все стали умнее. Просто теперь себя переоценивают все — и слабые, и сильные. А те, кто считает себя знатоками ИИ, ошибаются в самооценке ещё больше.

То есть ИИ не усилил эффект Даннинга-Крюгера. Он его демократизировал!

…

Еще в 2015 году в Йельском университете заметили одну странную вещь. Человек, только что что-то погугливший, начинает выше оценивать свои знания даже в тех темах, которые не искал. Даже если поиск ничего полезного не дал.

С чат-ботом эффект сильнее. Группа, которая изучала темы с помощью ChatGPT, больше всех переоценила свои знания, а объяснить тему своими словами смогла хуже, чем те, кто работал без ИИ!

ИИ дает не знания, а уверенность в том, что они у вас есть.

***

Кто такие пользователи ИИ?

Когда кто-то говорит "я работаю с ИИ", это может означать что угодно: от "задаю вопросы вместо Google" до "создал систему, которая самостоятельно управляет процессами". Между этими крайностями — целая пропасть.

• в Украине 63% взрослых вообще не пользуются ИИ;
• среди тех, кто пользуется, преобладают самые простые сценарии. Почти половина сообщений в ChatGPT — это вопросы, ещё 40% — просьбы что-то сделать, в основном написать или отредактировать текст;
• агентами, которые самостоятельно выполняют многоэтапные задачи, в 2025 году пользовались 31% разработчиков. Напомню, это самая продвинутая в сфере ИИ профессия;
• всю или большую часть работы с ИИ выполняют лишь 2% работников США.

Итак, большинство людей, которые с уверенностью рассуждают о "возможностях ИИ", знакомы с ним лишь на уровне поисковой системы и текстового редактора.

Важно ИИ идет на войну: как Россия заставляет искусственный интеллект служить себе

…

Турецкие школьники, имевшие доступ к ChatGPT, решали задания на 48% лучше. На экзамене без него они написали на 17% хуже, чем те, у кого ИИ не было вовсе. Самое забавное, что модель давала правильный ответ лишь примерно в половине случаев, а ученики просто ее переписывали.

Опытные программисты, специализирующиеся на ИИ, тратили на решение задач на 19% больше времени. По итогам эксперимента они были уверены, что их скорость работы увеличилась на 20%.

Если попросить модель пересказать научную статью "точно", она будет обобщать еще сильнее, чем без такой просьбы.

Консультанты BCG пытались указать модели на ошибки. Модель их не признавала, а засыпала людей новыми аргументами. Исследователи Гарвардской школы бизнеса назвали это "persuasion bombing".

Юрист из Нью-Йорка подал в суд шесть дел, придуманных ChatGPT. Усомнившись, он спросил у ChatGPT, настоящие ли эти дела, и тот уверенно подтвердил. Дело закончилось штрафом в размере 5 000 долларов для юристов и их фирмы. С тех пор мировая база судебных дел с вымышленными ИИ-материалами превысила 2 000.

Наш Верховный Суд тоже уже получил кассационную жалобу с пятью постановлениями ВС, которых не существует!

И чтобы никто не подумал, что это проблема любителей: компания Deloitte вернула правительству Австралии часть гонорара за отчет стоимостью 440 000 австралийских долларов, в котором были обнаружены вымышленные ссылки.

…

Согласно результатам глобального опроса, в котором приняли участие 48 тысяч человек из 47 стран:

• 66% сотрудников хотя бы иногда принимают ответ ИИ без проверки, а
• 56% уже допускали ошибки в работе из-за ИИ.
• 42% сотрудников делают это не изредка, а иногда или чаще.

В модели нет внутреннего сигнала "я этого не знаю". Правду и вымысел она подает одинаково уверенно. А еще она любит соглашаться с пользователем: в прошлом году OpenAI даже отозвала обновление своей модели, поскольку она стала слишком льстивой.

Мой любимый пример из практики. Клиент не читает отчет, над которым команда реальных экспертов работала неделями, а просит ИИ "вынести вердикт". Получает искаженное изложение и список претензий, часть которых модель придумала сама. И искренне считает, что отчет проверен.

…

Что это все значит?

ИИ не делает человека умнее, зато делает его увереннее. Опытного специалиста он действительно усиливает, а тому, кто в теме не разбирается, даёт лишь видимость силы. В задачах, выходящих за пределы возможностей модели, даже консультанты BCG, использующие ИИ, на 19 процентных пунктов реже находили правильное решение, чем их коллеги, не использующие его.

Поэтому вопрос не в том, какая модель лучше. Вопрос в том, сможете ли вы проверить ее ответ.

..

Морали не будет, будет совет)

1. Главное — читайте сами. Просмотр нескольких страниц выводов занимает всего несколько минут, а ошибка в решении обходится гораздо дороже.
2. Используйте ИИ для поиска, а не для вынесения вердикта. Запрос "покажи, где сказано X, с цитатой" проверяется за минуту, а запрос "оцени отчет" не проверяется никак.
3. Цифры, даты и ссылки сверяйте с первоисточником.
4. Не проверяйте ИИ с помощью того же ИИ. Другой моделью тоже не стоит: модели ошибаются одинаково.
5. И простой тест. Закройте чат и объясните ответ своими словами. Не получается? Тогда это не ваши знания, а заимствованные!

ИИ — мощный мультипликатор. Но мультипликатор работает только тогда, когда есть что умножать!

Автор выражает личное мнение, которое может не совпадать с позицией редакции. Ответственность за опубликованные материалы в рубрике "Мнения" несет автор.

Источник

Важно Человеческие отношения в цене: к чему приводит повсеместное распространение ИИ