Демонстрирует опасные характеристики: один из "отцов" ИИ раскритиковал многомиллиардную гонку по его разработке

Один из "отцов" искусственного интеллекта Йошуа Бенжио раскритиковал многомиллиардную гонку за разработку передовых технологий. В частности, в интервью Financial Times он заявил, что последние модели ИИ демонстрируют опасные характеристики, как, например, обман пользователей.

Йошуа Бенджио - ученый из Канады. Его работы стали основой технологий, используемых ведущими группами по разработке ИИ, такими как OpenAI и Google.

"К сожалению, между ведущими лабораториями существуют очень конкурентные гонки, которые заставляют их сосредоточиться на возможности сделать ИИ все более интеллектуальным, но не обязательно уделять достаточное внимание и инвестировать в исследования безопасности", - говорит Бенджио.

Свои предостережения он высказал изданию во время запуска новой некоммерческой организации под названием LawZero. По словам Бенджио, группа сосредоточится на создании более безопасных систем. Ученый пообещал "изолировать наши исследования от коммерческого давления".

Сейчас LawZero собрала почти 30 миллионов долларов благотворительных взносов от доноров, среди которых инженер-основатель Skype Яан Таллинн, благотворительная инициатива бывшего главы Google Эрика Шмидта, а также Open Philanthropy и Future of Life Institute. Многие спонсоры Бенджио поддерживают движение "эффективного альтруизма", сторонники которого склонны сосредотачиваться на катастрофических рисках, связанных с моделями искусственного интеллекта. Критики утверждают, что движение делает акцент на гипотетических сценариях, игнорируя текущий вред, такой как предвзятость и неточность.

.

По словам Бенджио, его некоммерческая группа была основана в ответ на доказательства, что современные ведущие модели развивают опасные возможности. Это включает "доказательства обмана, мошенничества, лжи и самосохранения". При этом в течение последних шести месяцев количество таких доказательств возросло.

Модель Claude Opus от Anthropic шантажировала инженеров в вымышленном сценарии, где она рисковала быть замененной другой системой. Исследование тестировщиков ИИ Palisade в прошлом месяце показало, что модель o3 от OpenAI отказалась выполнять явные инструкции об отключении.

Бенджио сказал, что такие инциденты "очень пугают, потому что мы не хотим создавать конкурентов людям на этой планете, особенно если они умнее нас".

"Сейчас это контролируемые эксперименты, [но] я опасаюсь, что в будущем следующая версия может быть стратегически достаточно умной, чтобы увидеть нас издалека и победить нас с помощью обмана, которого мы не предвидим. Поэтому я считаю, что сейчас мы играем с огнем", - добавил Бенджио.

По словам ученого, способность систем помогать в создании "чрезвычайно опасного биологического оружия" может стать реальностью уже в следующем году. В частности, компания LawZero, базирующаяся в Монреале, имеет 15 сотрудников и планирует нанять больше технических специалистов для создания нового поколения систем искусственного интеллекта, предназначенных для обеспечения безопасности.

Бенджио, который занимает должность профессора информатики в Университете Монреаля, оставит должность научного директора Mila, Института искусственного интеллекта Квебека, чтобы сосредоточиться на новой организации. Ее цель - разработать систему искусственного интеллекта, которая будет давать правдивые ответы на основе прозрачного рассуждения, а не будет обучена угождать пользователю. Также эта система будет предоставлять надежную оценку того, является ли результат хорошим или безопасным. Бенджио надеется создать модель, которая сможет контролировать и совершенствовать существующие предложения ведущих групп искусственного интеллекта, предотвращая их действия, противоречащие интересам человека.

"Худший сценарий - это вымирание человечества. Если мы создадим искусственный интеллект, который будет умнее нас, не будет согласован с нами и конкурировать с нами, то нам, по сути, конец", - заявил ученый.

Решение Бенджио о создании LawZero совпадает с намерением OpenAI отойти от своих благотворительных корней и превратиться в коммерческую компанию. Этот шаг вызвал беспокойство экспертов по искусственному интеллекту и вызвал судебный иск от соучредителя Илона Маска, который пытается заблокировать этот процесс.

Критики говорят, что OpenAI была основана для того, чтобы обеспечить развитие искусственного интеллекта на благо человечества, а новая структура делает невозможным юридическую защиту, если компания предоставит приоритет прибыли над этой целью. OpenAI утверждает, что ей нужно привлечь капитал по более традиционной структуре, чтобы конкурировать в этом секторе, при этом ее более широкая миссия остается центральной.

.

По словам Бенджио, он не уверен в том, что OpenAI будет придерживаться своей миссии. Ученый подчеркнул, что некоммерческие организации не имеют "неподходящих стимулов, которые есть в современной структуре компаний".

"Чтобы быстро расти, нужно убедить людей инвестировать большие деньги, а они хотят видеть отдачу от своих вложений. Так работает наша рыночная система", - добавил Бенджио.

Ранее сообщалось, что уже этим летом компания OpenAI может представить следующее поколение своей флагманской языковой модели - ChatGPT-5. Хотя официальная дата запуска пока не подтверждена, многочисленные источники, включая инсайдерские сообщения и хронологию предыдущих релизов, указывают на возможный выход в июле 2025 года. По оценкам аналитиков, новая модель имеет потенциал существенно изменить работу искусственного интеллекта, сделав еще один шаг к технологии, приближающейся к уровню AGI, так называемого общего ИИ.