Компанія OpenAI почала формувати команду для контролю за «надрозумним» ШІ

Компанія OpenAI почала формувати команду, яка розроблятиме способи управління та контролю «надрозумних» системи штучного інтелекту. Команда працюватиме під керівництвом Іллі Суцкевера, головного наукового співробітника та одного із співзасновників компанії, повідомляє Techcrunch.

Суцкевер та Ян Лейке, керівник групи узгодження в OpenAI, вважають, що ШІ з інтелектом, який перевершує людський, може з'явитися вже протягом десятиліття. І такий ШІ – коли він з'явиться – не обов'язково буде доброзичливим, тому необхідно досліджувати способи контролю та обмежень.

«В даний час у нас немає рішення для управління потенційно надінтелектуальним ШІ та запобігання його виходу з-під контролю. Наші поточні методи узгодження ШІ, такі як навчання з підкріпленням на основі відгуків людей, ґрунтуються на здатності людей контролювати ШІ. Але люди не зможуть надійно контролювати системи ШІ, які набагато розумніші за нас», – заявили вони.

Нова команда намагатиметься вирішити цю проблему, розробляючи «автоматизованого дослідника вирівнювання на рівні людини». Ідея полягає в тому, що системи ШІ на підставі зворотного зв'язку від людини можуть допомогти в оцінці інших таких систем.

Гіпотеза OpenAI полягає в тому, що ШІ може швидше і краще просувати дослідження з вирівнювання, ніж люди.

Зрозуміло, жоден метод не є ідеальним. Керівники компанії визнають, що використання ШІ для оцінки може збільшити невідповідність, упередження або вразливість у цьому ШІ. І може виявитися, що найскладніші частини проблеми вирівнювання можуть бути взагалі не пов'язані з інженерією. Водночас вони вважають, що спробувати варто.

Нагадаємо, наприкінці березня понад тисячу експертів, серед яких засновник SpaceX і Tesla Ілон Маск, один із засновників Apple Стів Возняк, Юваль Ной Харарі та інші, підписали листа, в якому закликали поставити на паузу розробку просунутого штучного інтелекту.