OpenAI розпускає групу безпеки, головний радник з «готовності AGI» йде у відставку

За словами керівника команди, OpenAI розпускає свою команду «AGI Readiness», яка консультувала компанію щодо власної спроможності OpenAI працювати зі все більш потужним ШІ та готовності світу керувати цією технологією.

У середу Майлз Брандадж, старший радник AGI Readiness, оголосив про свій відхід з компанії через допис Substack . Він писав, що його основні причини полягали в тому, що альтернативна вартість стала надто високою, і він думав, що його дослідження матиме більший зовнішній вплив, що він хотів бути менш упередженим і що він досяг того, що мав на меті в OpenAI.

Брандадж також написав, що щодо готовності OpenAI та світу до AGI: «Ні OpenAI, ні будь-яка інша передова лабораторія не готові, і світ також не готовий». Брандадж планує заснувати власну некомерційну організацію або приєднатися до вже існуючої, щоб зосередитися на дослідницькій політиці ШІ та пропаганді. Він додав, що «штучний інтелект навряд чи буде максимально безпечним і корисним без узгоджених зусиль, щоб зробити його таким».

Згідно з повідомленням, колишніх членів команди AGI Readiness буде перепризначено до інших команд.

«Ми повністю підтримуємо рішення Майлза продовжити дослідження політики за межами індустрії та глибоко вдячні за його внесок», — сказав CNBC представник OpenAI. «Його план повноцінного проведення незалежних досліджень політики штучного інтелекту дає йому можливість впливати на ширший масштаб, і ми раді вчитися на його роботі та стежити за її впливом. Ми впевнені, що на його новій посаді , Майлз продовжить підіймати планку якості розробки політики в промисловості та уряді».

У травні OpenAI вирішив розпустити свою команду Superalignment , яка зосереджувалася на довгострокових ризиках штучного інтелекту, лише через рік після того, як вона оголосила про створення групи, підтвердила тоді CNBC особа, знайома з ситуацією.

Новини про розпуск команди AGI Readiness слідують за потенційними планами ради директорів OpenAI щодо реструктуризації фірми в комерційний бізнес, і після того, як три керівники — технічний директор Міра Мураті, керівник досліджень Боб МакГрю та віце-президент з досліджень Баррет Зоф — оголосили про свій відхід того ж дня. минулого місяця .

Раніше в жовтні OpenAI завершила свій бурхливий раунд фінансування з оцінкою в 157 мільярдів доларів, включаючи 6,6 мільярда доларів, які компанія залучила від великого реєстру інвестиційних фірм і великих технологічних компаній. Він також отримав відновлювану кредитну лінію на суму 4 мільярди доларів , завдяки чому її загальна ліквідність перевищила 10 мільярдів доларів. Компанія очікує близько 5 мільярдів доларів збитків при 3,7 мільярдів доларів доходу цього року, підтвердив CNBC джерело, знайоме минулого місяця.

А у вересні OpenAI оголосила , що її Комітет безпеки та безпеки, який компанія запровадила в травні, оскільки він мав справу з суперечками щодо процесів безпеки, стане незалежним комітетом з нагляду ради. Нещодавно він завершив свій 90-денний огляд, оцінюючи процеси та засоби захисту OpenAI, а потім надав рекомендації правлінню, результати також оприлюднили в публічній публікації в блозі .

Новини про відхід керівників і зміни в раді також виникли після літа, коли зростали занепокоєння щодо безпеки та суперечки навколо OpenAI, який разом із Google , Microsoft, Meta та інші компанії стоять біля керма генеративної гонки озброєнь зі штучним інтелектом — ринок, який, за прогнозами, перевищить 1 трильйон доларів доходу протягом десятиліття — оскільки компанії, здавалося б, у кожній галузі поспішають додати чат-ботів і агентів на основі штучного інтелекту, щоб не залишитися. відставання від конкурентів.

У липні OpenAI перепризначила Олександра Мадрі , одного з топ-менеджерів OpenAI з безпеки, на роботу, зосереджену замість цього на міркуваннях штучного інтелекту, як підтвердили CNBC джерела, знайомі з ситуацією.

Відповідно до біографії Мадрі на веб-сайті Прінстонського університету, Мадрі був керівником відділу підготовки OpenAI, команди, якій було доручено відстежувати, оцінювати, прогнозувати та допомагати захищати від катастрофічних ризиків, пов’язаних із передовими моделями ШІ. На своїй новій посаді Мадрі все ще працюватиме над основною роботою з безпеки штучного інтелекту, повідомив тоді CNBC OpenAI.

Рішення перепризначити Мадрі було прийнято приблизно в той самий час, коли сенатори-демократи надіслали листа генеральному директору OpenAI Сему Альтману щодо «запитань про те, як OpenAI вирішує нові проблеми безпеки».

У листі, який переглянув CNBC, також зазначено: «Ми шукаємо від OpenAI додаткової інформації про кроки, які вживає компанія для виконання своїх публічних зобов’язань щодо безпеки, як компанія внутрішньо оцінює свій прогрес у виконанні цих зобов’язань, а також про ідентифікація компанії та пом’якшення загроз кібербезпеці».

Microsoft відмовилася від свого місця спостерігача в раді директорів OpenAI у липні, заявивши в листі, який переглянув CNBC, що тепер вона може відступити, оскільки задоволена конструкцією ради стартапу, яка була оновлена після повстання, яке призвело до короткого усунення компанії Альтман і погрожував масштабним інвестиціям Microsoft у компанію.

Але в червні група нинішніх і колишніх співробітників OpenAI опублікувала відкритий лист, в якому висловила занепокоєння з приводу швидкого розвитку індустрії штучного інтелекту , незважаючи на відсутність нагляду та відсутність захисту інформаторів для тих, хто хоче висловитися.

«Компанії зі штучним інтелектом мають сильні фінансові стимули уникати ефективного нагляду, і ми не віримо, що створених на замовлення структур корпоративного управління достатньо, щоб це змінити», — написали тоді співробітники.

Через декілька днів після публікації листа джерело, знайоме з цією справою, підтвердило CNBC, що Федеральна торгова комісія та Міністерство юстиції збираються розпочати антимонопольне розслідування щодо OpenAI, Microsoft і Nvidia , зосереджуючись на поведінці компаній.

Голова FTC Ліна Хан описала дії свого агентства як «розслідування ринку щодо інвестицій і партнерства, що формуються між розробниками ШІ та великими постачальниками хмарних послуг».

Нинішні та колишні співробітники написали в червневому листі, що компанії зі штучним інтелектом володіють «суттєвою непублічною інформацією» про те, що може робити їх технологія, ступінь безпеки, яку вони запровадили, і рівень ризику, який несе технологія для різних типів шкоди.

«Ми також розуміємо серйозні ризики, пов’язані з цими технологіями», — написали вони, додавши, що компанії «наразі мають лише слабкі зобов’язання ділитися частиною цієї інформації з урядами, і жодних з громадянським суспільством. Ми не вважаємо, що на них усіх можна покластися». поділитися ним добровільно».

Команда OpenAI Superalignment, оголошена минулого року та розпущена в травні, зосередилася на «наукових і технічних проривах у керуванні та контролі систем ШІ, набагато розумніших за нас». У той час OpenAI заявив, що виділить 20% своєї обчислювальної потужності для цієї ініціативи протягом чотирьох років.

Команда була розпущена після того, як її лідери, співзасновник OpenAI Ілля Суцкевер і Ян Лейке, оголосили про відхід зі стартапу в травні. Лейке написав у дописі на X, що «культура безпеки та процеси OpenAI відійшли на другий план, ніж блискучі продукти».

У той час Альтман сказав на X, що йому було сумно бачити, що Лейке йде, і що у OpenAI є ще багато роботи. Незабаром після цього співзасновник Грег Брокман опублікував на X заяву, приписувану Брокману та генеральному директору, стверджуючи, що компанія «підвищила обізнаність про ризики та можливості AGI, щоб світ міг краще підготуватися до цього».

«Я приєднався, тому що вважав, що OpenAI буде найкращим місцем у світі для проведення цього дослідження», — написав тоді Лейке на X. «Однак я досить довго не погоджувався з керівництвом OpenAI щодо основних пріоритетів компанії, поки ми нарешті не досягли переломної точки».

Лейке написав, що він вважає, що пропускна здатність компанії повинна бути зосереджена на безпеці, моніторингу, готовності, безпеці та впливі на суспільство.

«Ці проблеми досить важко вирішити, і я стурбований тим, що ми не на траєкторії, щоб досягти цього», — написав він тоді. «Протягом останніх кількох місяців моя команда пливла проти вітру. Іноді ми боролися за [комп’ютерні ресурси], і проводити це важливе дослідження ставало все важче й важче».